3B模型通过将技能内化到权重中击败了GPT-4o

3B模型刚在自主Agent任务上击败了GPT-4o和Gemini-2.5-Pro。不是通过增加参数，而是将技能直接内化到小模型的权重中。

SKILL0用策展的领域技能训练小语言模型，然后在训练过程中逐步撤除技能，直到模型在推理时以零技能检索运行。知识从上下文窗口转移到参数中。

结果：3B模型在ALFWorld上得分87.9%。GPT-4o得分48.0%。Gemini-2.5-Pro得分60.3%。参数只是一小部分，性能近乎翻倍。

SKILL0每步使用0.38k token，而技能增强方法使用2.21k——推理成本降低超过5倍。没有检索管道，没有技能库，运行时没有嵌入索引。

最反直觉的发现：模型在推理时没有技能表现更好（87.9%）而非有技能（86.3%）。知识进入权重后，检索上下文实际上引入了噪声。

模式：策展领域技能→训练小模型吸收→以极低成本部署→收集生产数据→改进技能→重新训练。每个循环使小模型更强大，而相对前沿模型的成本优势更大。

训练成本：4块H800 GPU上180步。结果：一个永远以零检索基础设施运行的模型。

前沿模型越来越贵。小模型越来越善于吸收领域专业知识。从API租用智能与在权重中拥有智能之间的差距正在从底部缩小。