8B模型在Agent工具使用上击败235B模型。差异在于环境,不是参数
8B模型在Agent工具使用基准测试上击败了235B模型。差异不在参数,而在环境。
Agent-World构建了近2,000个真实训练环境,包含19,822个可执行工具,全部来自真实数据源:MCP服务器规范、工具文档和产品需求文档。
核心洞察:Agent训练是数据基础设施问题,不是模型规模问题。LLM模拟的环境产生的Agent在演示中看起来能干,但在真实工具API上失败。
Agent-World-8B在BFCL-V4上得分51.4%——与大30倍的模型竞争。Agent-World-14B达到55.8%,匹配DeepSeek-V3.2-685B的54.1%。
从0到2,000个训练环境,性能翻倍。最大的跃升发生在100到500个环境之间。增加更多环境始终优于增加更多参数。
模拟环境实际上会伤害性能。在LLM生成反馈上训练的模型在真实MCP工具交互上失败。差距是负迁移,不是噪声。