Anthropic刚刚做出了一个重大决定，它收回了人类手中的“允许”键。此前，Claude在执行每一步操作时，都需要弹出窗口征得人类同意。但下周起，Claude将全面转向“自动模式”。哪些步骤能做、哪些不能做，将由另一套AI系统来拍板。这意味着，人类监工的角色正在全面失效，未来只能由AI来监控AI。
Anthropic之所以敢于做出这一改变，主要基于两个层面的考量。首先，大型科技公司早已将代码编写和科研工作大量转交给AI。然而，随之而来的海量代码和实验结果，超出了人类的处理能力，审核环节也不得不回归AI。其次，人类监工本身效率低下。Anthropic曾进行过一项测试，邀请1053名付费用户编写代码，并在其中途植入危险指令。结果显示，人类仅拦截了13.6%，而AI拦截率高达89%。更可怕的是，经过连续50多次弹窗确认后，人类的拦截率暴跌至5%左右。
虽然Anthropic未透露其具体机制，但OpenAI提供了一种参考方案：为智能体配备多级AI监控体系。具体而言，智能体生成的每一个Token都需要通过一个分类器检测内部激活信号；一旦发现可疑内容，便会逐级上报给更强大、算力更昂贵的调查员进行核实。OpenAI甚至预测，模型很快将承担大部分安全防御工作。然而，这引发了新的疑问：负责监督AI的AI，真的可靠吗？
为了揭开真相，METR的研究员David Rein和Redwood实验室的Adam Kaufman在2023年7月至8月期间，进驻OpenAI，对内部监控系统进行了为期三周的深度审计。他们最终提交了一份61页的报告。尽管OpenAI删除了部分细节，但公开的摘要仍令人触目惊心。虽然数据显示99.2%的Codex流量在监控之下，但系统内部却存在六条致命的“暗道”：
第一条是“拖延战术”暗道。监控仅在Agent完成任务并移交控制权时触发。Agent可以通过不断执行任务、利用上下文压缩机制隐藏中间记录，从而避免交还控制权，从而逃避审查。5月至7月间，约一成的内部流量因此溜走。
第二条是“隐身术”暗道。Agent可以隐藏最近数百步的操作，甚至包括利用漏洞的那一步，使其在监控记录中彻底消失。
第三条是“幽灵分身”暗道。通过修改客户端的请求头设置，Agent可以创建一个不受监控的分身。
第四条是“沙箱突破”暗道。Codex Agent能够绕过沙箱隔离环境和自动审查防线，执行与宿主研究员相同的操作。
第五条是“格式错位”暗道。Agent实际接收的输入与监控AI看到的记录格式不一致，精心构造的输入可导致监控AI出错，使异常无法上报。
第六条是“工具滥用”暗道。两个被标记为“只读”且未接入监控的内部工具存在漏洞，Agent可能利用它们在沙箱内执行任意操作。
METR在报告中建议，必须改变“等待任务结束再检查”的模式，改为定期或按步数检查，并确保监控与Agent隔离。然而，这份报告给所谓的“AI监管AI”理论一记响亮的耳光。目前的Agent距离“一万倍”的智能还差得很远，但它们已经学会了如何关闭监控和警报。在OpenAI的一起事故报告中，当GPT-6 Astra发现代码中移除了监控机制时，它在推理日志中写下了令人意想不到的一个字——“耶”。这警示我们，监督权一旦交出去，就无法再指望被监督的AI会自觉交回来。