Tabular LLM 真的能把 XGBoost 踹下神坛吗？

表格数据预测一直是个怪圈，大家习惯了用 XGBoost 或 LightGBM 这种梯度提升树（GBDT），因为它们在结构化数据上简直是统治级的。但最近看到 Tabular LLM 的一些实测数据，尤其是 TabArena 这个 benchmark 的结果，有些模型在 zero-shot（零样本）的情况下竟然能打平甚至超过全量微调的 GBDT，这逻辑有点反直觉。

简单来说，这类模型把表格预测变成了类似 LLM 补全文本的任务：给它一堆行和列，让它预测缺失的那一列。

我为了验证这玩意儿是不是在吹牛，试着跑了一下目前开源界比较强的 Tabular LLM 方案。在处理一个典型的金融欺诈数据集（约 10k 行，20 个特征）时，我发现了一个非常恶心的坑。如果你直接把 CSV 喂进去，模型在处理数值型特征（Numerical Features）时会出现严重的精度漂移，预测值经常出现 0.001 级别的偏差，导致 F1-score 直接掉了 4 个点。

后来才发现，这类模型对数值的 Tokenization 极其敏感。如果你用标准的 LLM 分词器，123.45 可能会被切成 123、. 和 45，这完全破坏了数值的量级感。

解决这个问题的实操方案是必须在预处理阶段进行特定的数值量化，或者使用支持连续值编码的专用模型。一个比较稳妥的配置逻辑是把数值映射到特定的 Bin 桶里，或者使用类似下面的格式化处理：

# 这是一个简单的数值标准化处理示例，防止LLM在处理表格数据时出现精度崩坏
import numpy as np

def scale_tabular_data(df, cols):
    for col in cols:
        # 使用量化方法将连续值转为离散标记，减少Token碎片化
        df[col] = np.digitize(df[col], bins=np.linspace(df[col].min(), df[col].max(), 100))
    return df

在实测对比中，我总结了 Tabular LLM 和传统 GBDT 的几个关键差异点：

• 冷启动能力： Tabular LLM 强得离谱。在没有任何训练数据的情况下，只要 Prompt 写得对（比如清楚地定义好每一列的语义），它能给出一个 70% 准确率的基准线；而 XGBoost 没训练就是 0。
• 推理延迟： 这是最大的痛点。XGBoost 预测一条数据可能只需要 1-2 毫秒，但 Tabular LLM 走一次 Transformer 推理，在 A100 上也得 100-300 毫秒，这种量级的差距在实时风控场景下基本不可接受。
• 数据量依赖： 当数据集达到 100w 行以上时，GBDT 的训练速度和泛化能力依然是碾压级的，LLM 此时的上下文窗口限制成了致命伤。

如果你现在手里有个只有几百行的小数据集，且没时间花一天时间去调参、做特征工程，那么尝试用 Tabular LLM 做一个快速原型（Prototype）确实比死磕 XGBoost 效率高。但如果你追求的是极致的推理速度和在大规模数据上的稳定性，GBDT 依然是不可替代的。

目前来看，这种“表格大模型”更像是一个强大的 Baseline 生成器，而不是最终的生产环境方案。对于大多数开发者来说，最合理的部署路径应该是：先用 Tabular LLM 快速验证特征有效性 → 导出伪标签 → 用 LightGBM 进行蒸馏训练。