编程Agent刚在Atari Breakout上达到理论最高分。没有神经网络，没有梯度

编程Agent刚在Atari Breakout上达到理论最高分。没有神经网络，没有训练，没有梯度。纯代码。

Jiayi Weng做了一个实验：让Codex维护一个软件系统——规则、状态检测器、测试、回放——并不断根据环境反馈迭代。Breakout中，分数从387到864（上限）。MuJoCo中，纯Python策略匹配了Deep RL基线。VizDoom中，没有任何神经网络的OpenCV解决了第一人称战斗。

他称之为启发式学习：Deep RL的反馈循环，但更新的对象是代码，而不是权重。

专家系统没有死于规则无用，而是死于人类无法承担维护成本。编程Agent改变了维护曲线。曾经的一次性补丁现在可以成为值得拥有的软件。

实用属性：可解释性——策略是可读代码。回归可测试性——旧能力变成测试。样本效率——一次好的代码编辑直接跳到新策略。

持续学习连接：神经网络因为新学习覆盖旧权重而遗忘。启发式系统不必如此——旧能力存在于测试、回放和版本历史中。遗忘变成工程问题，而非数学问题。

范式从预训练转向RLHF，再到大规模RL。下一个转变：任何可以持续迭代的东西都开始变得可解决。