专用AI Agent做不好电子表格。通用Agent可以
一个新基准测试了AI Agent在真实财务建模任务上的表现——DCF估值、三表模型、债务计划。
最令人惊讶的发现:Claude的通用网页界面得分69.1。Claude的专用Excel插件得分60.4。ChatGPT的Excel插件得分59.0。专门为电子表格构建的工具表现不如通用界面。
更深层的发现:同一个Claude模型通过API用Agent框架访问得分18.2。网页界面得分69.1。3.8倍差距——同一模型,不同包装。
失败模式:专用Excel Agent计算出正确数字但硬编码到单元格中,而不是构建公式。工作簿看起来完整但专业上毫无用处——没人能审计、编辑或扩展一个充满魔法数字的模型。
在困难任务上,标准答案包含20,925个公式。最好的Agent产出3,138个——覆盖参考的15%。
对评估AI工具的企业团队:标注"AI for finance"的产品可能表现不如拥有更好工程包装的通用模型。标签是营销,包装才是性能。
同一模型,不同包装,3.8倍性能差距。你的工具选择流程应该测试包装,而不是模型。