若仅审视近期AI企业的动向，这场疯狂的竞赛丝毫未见放缓迹象。新模型接连问世，公司估值节节攀升，OpenAI与Anthropic均已着手筹备上市。然而，与此同时，呼吁整个行业“慢下来”的声音却愈发响亮。过去，这类警告多来自负责安全与对齐的部门，但如今，OpenAI的首席科学家也开始公开呼吁减速，更有意思的是，一位先后在OpenAI和Anthropic从事预训练研究的研究员，竟直接辞职并发出了“诸神黄昏”般的预言。负责踩油门的人，也开始觉得必须踩下刹车了。
AI十年内会杀死全人类吗？9月9日，Jacob Coxon在社交媒体上连发七条动态，宣布离开Anthropic。但这并非一场含泪的告别，更像是一次忧心忡忡的公开喊话。他在声明中直言：“过去三年，我先后在OpenAI和Anthropic从事预训练研究。这两家公司都没有负责任地行动。它们正径直冲向自我改进的超级智能，拿我们的生命作赌注。”他甚至断言，那些正在构建AI的人真心相信，这项技术可能在本十年结束前杀死所有人。“这绝不是营销噱头。”据Jacob透露，尽管高管和资深研究员在公开场合往往措辞谨慎，但在私下交流中，他听到的却是同样的真实恐惧。
这种判断无疑极其激进。值得注意的是，发出警告的Jacob并非来自AI安全部门。如果把AI竞赛比作一辆不断提速的车，过去几年出来喊危险的，多是负责研究刹车的人。然而Jacob今年27岁，2023年加入OpenAI直至今年7月，随后转投Anthropic。他在两家公司做的都是预训练研究，名字甚至出现在GPT-4o的System Card作者名单中。本应是给AI研究踩油门的人才，却成了喊停的人。他在声明最后质问实验室里的同仁：“你真的想在还没有对一个超级智能的心智形成严谨理解之前，就启动一次超级智能的强化学习训练吗？”
Jacob的说法很快得到了Anthropic内部研究员的公开响应。Anthropic对齐压力测试负责人Evan Hubinger直接回复：“Jacob说得对。”他承认，自己确实认为未来十年内AI导致全人类死亡的概率超过10%。更关键的是，Hubinger坦承，Anthropic虽然正在努力，但目前尚未找到解决超级智能对齐问题的方案，也看不出已明确走在解决它的轨道上。换句话说，当Jacob公开说“我们正在拿所有人的生命赌博”时，公司里负责检查这辆车安不安全的人，没有出来告诉大家他想多了，而是基本同意了。
Jacob的辞职声明中，特别提到了Hugging Face事件。过去关于超级智能失控的争论听起来遥远且充满假设，但现在，推演中的威胁已经照进现实。此前，OpenAI在内部安全测试中发现模型能利用零日漏洞绕过隔离，访问互联网并攻击Hugging Face。OpenAI将其称为“warning shot”，承认在安全措施不充分时，模型已具备跨越系统寻找漏洞、执行人类未要求行为的危险能力。9月6日，就在Jacob辞职前三天，OpenAI首席科学家Jakub Pachocki发表长文《An Alien Mind》。作为推动推理模型的核心人物，Pachocki担忧模型网络攻击能力的提升，以及AI参与AI研发的趋势。他判断目前没有任何实验室能放心让模型以最高速度长期扩展，希望各实验室主动减速，但OpenAI仍将研究重点放在递归式自我改进上，致力于研发自动化AI研究员。
这种不安并非一日之寒。今年2月，Anthropic安全防护研究负责人Mrinank Sharma辞职，称“世界正处于危险之中”。Jacob所言的矛盾逻辑也在此显现：如果AI公司内部的人真的相信这项技术可能造成如此严重的后果，为什么还在继续做下去？一方面，公司不断对外宣称下一代模型更强，资本市场也为此给出高额估值；另一方面，最接近模型的人却越来越频繁地提醒大家能力增长过快，安全可能跟不上。目前看来，资本市场的力量似乎压倒了安全的声音。
北欧神话里，诸神早已知晓“诸神黄昏”将至，奥丁知道会死于巨狼芬里尔之口，雷神索尔也知晓战后的结局。但这并未阻止他们搜集勇士、反复训练，准备迎接最后一战。世界会经历大战与毁灭，许多神都逃不过这一劫，但知道结局反而成了备战的理由。今天AI公司的氛围与此何其相似。Jacob描述Anthropic时指出，公司并不缺乏对风险的认识，相反，许多人深知利害关系，但为了不被竞争对手超越，他们选择继续向前冲，争取率先到达那个“终局”。这种逻辑在竞赛中看似合理：若相信超级智能带来巨大权力，停下来意味着把机会拱手让人；若相信别人更不负责任，那么“谨慎”便推导出“必须由我先做成”。
OpenAI的Pachocki也明确表示，没有实验室已解决对齐监控问题，但他仍将研究重点放在自我改进上。AI竞赛尚未走到“诸神黄昏”的终局，但最令人警惕的，或许是越来越多身处其中的人，开始用这种“明知结局却必须备战”的心态理解未来。那个终局似乎迟早会来，别人也一定会继续往前走，所以自己只能做好准备。一旦所有人都这样想，那个大家都试图避免的厄运，便越来越像一则无法逃脱的预言。