大多数AI Agent故障不是对齐问题，而是架构问题

大多数AI Agent的失败不是对齐失败，而是架构失败。

一篇新论文将幻觉、过度自信和"自信的错误回答"重新定义为单一架构缺陷的症状：无限自主权。一旦Agent被授权行动，当前架构中没有任何机制强制它停下来——即使它的置信度正在崩溃。

论文引入了SMARt，一个管理Agent自主权的四状态框架：

稳定状态 — Agent在经过验证的认知范围内运行。这是唯一允许产生外部输出的状态。

元认知恢复 — Agent检测到不确定性上升，暂停行动进行自我诊断。输出在结构上被阻断。

辅助恢复 — 自我修复失败。外部资源——验证Agent、领域专家、检索系统——被调用。单边行动被暂停。

管制/撤销 — 自主权被明确移交给人类监督或受控关闭。

关键架构特性：当系统的认知基础无效时，它在数学上不可能产生外部输出。这不是概率降低，而是结构性禁止。

最反直觉的发现：当前的评估指标实际上在激励幻觉。任务完成率、准确率基准和响应流畅度都在奖励在不确定性下继续行动的系统。它们惩罚拒绝、升级和沉默——即使这些才是正确的行为。

论文证明了一个形式化的不可能性结论：没有任何与领域无关的治理触发器集合是普遍安全的。医疗AI、自主机器人和金融系统各自需要不同的升级信号。

对于部署Agent的企业团队：自主权应该是一种必须通过认知有效性持续获得的动态分配特权——而不是在部署时授予的静态权利。