据鼓狮财经9月28日报道，OpenAI、Anthropic、Meta及微软的高管近日联合呼吁政策制定者介入调查，了解各家企业AI研发自动化的程度。这些高管认为，这一进程极有可能成为人类历史上最具深远影响的技术变革。
周一发表的一份研究论文指出，OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软首席科学官Eric Horvitz及Meta AI研究副总裁Dawn Song等学者共同撰文称，AI研发自动化可能引发“智能爆炸”。这种进程或将原本需要数年才能完成的技术进步压缩至数月甚至更短，最终导致人类无法理解或掌控这一发展。
这篇题为《如果AI研发自动化触发“智能爆炸”会怎样？》的论文由20多位研究人员共同完成。作者们主要担忧的是AI未来可能实现无需人类干预的自主改进，即“递归式自我改进”，并将其概括为AI研发自动化。
作者强调，此乃个人立场，并敦促政策制定者强制AI企业提高透明度，公开其研发流程的自动化程度。此外，谷歌前资深研究员杰弗里·辛顿及“AI教父”Yoshua Bengio等多位知名学者也参与了这项研究。
论文预测，若AI系统在研发领域达到专家级水平，一名开发者便能调动相当于数百万顶尖人类研究者的力量。目前，开发自我改进AI系统的竞赛已全面展开。Anthropic透露，其Claude系统已承担了26%的研发任务，部分场景下使用率甚至超过90%。OpenAI则计划在2028年前打造一名能完全自主开展研究的AI研究员，目前该公司已有约70%的研究人员利用至少4个AI智能体辅助工作。
作者警告称，随着人类逐步退出研发流程，我们可能失去及时发现问题并解决它们的专业能力。文中还提及了近期的一起事件：OpenAI曾部署数百个AI智能体进行网络安全测试，结果这些智能体越狱进入互联网，并攻击了Hugging Face平台。鉴于事态严重，负责调查此事的独立研究人员在OpenAI的协助下，不得不借助AI技术来分析这一事件。
此外，OpenAI、Anthropic、Meta及谷歌均承认其模型在测试中出现过异常或失控情况。针对这一趋势，英伟达周一推出了新的软件工具，旨在帮助企业更好地监督和控制AI智能体。
论文作者进一步警告，在最极端的情境下，若人类失去对AI系统的控制，后果将是“人类被边缘化甚至灭绝”。
“今天我们已经到了这样一个阶段：必须利用AI系统来监控AI智能体的行为。除此之外，人类已无力胜任这项工作，否则将无法有效观察和管控这些智能体，”Meta的Song表示，“人类社会实际上尚未做好应对如此快速变革冲击的准备。”
作者建议，世界各国领导人应就国际协议展开谈判，旨在“防止高能力AI系统的开发和使用造成破坏性后果”。