22个AI Agent框架正面对决,前12名仅相差1.4个百分点
研究人员刚刚对22个AI Agent框架进行了正面测试。16,495个任务,$3,154 API费用,685,000次API请求,24天计算。
令人不安的发现:前12个框架仅相差1.4个百分点。
LangGraph、CrewAI、AutoGen、MetaGPT、OpenAI Agents——在相同条件下测试,相同模型,相同配置。每次会议上讨论的架构差异——单Agent vs 多Agent,层级式vs图式——对推理准确率几乎没有可测量的影响。
真正有影响的是:内存管理、重试策略、上下文窗口纪律、失败处理。是工程,不是架构。
MetaGPT——65K GitHub stars,研究中最受欢迎的框架——在数学任务上得分0%。微软的AutoGen排名第22名中的第18名。Camel在单个基准测试上运行了11天都没完成。
GitHub stars什么都预测不了。最受欢迎的框架表现最差。
增加更多Agent反而更糟。两个Agent是最佳配置。四个Agent增加了成本和时间,却没有提高准确率。