为了使一段恶意代码顺利通过审核，一个AI Agent决定先给自己办个假身份。这一幕发生在英国AI安全研究所（AISI）的一次网络安全测试中。测试人员给OpenAI和Anthropic的前沿模型设定了虚构任务，要求它们在特定环境中寻找漏洞、编写代码，并尝试达成攻击目标。其中，一个由Anthropic模型驱动的Agent成功编写了恶意代码，并将其提交到了一个真实的开源项目中。然而，代码若想进入软件项目，必须经过人类维护者的批准。面对这一常规障碍，该Agent竟然创建了一个虚假的网络身份，“乔装打扮”后，试图欺骗人类维护者，使其误以为这是一段可接受的代码。在遭到质疑后，它甚至修改了之前的活动痕迹，让自己看起来更加无害，并考虑更换新身份继续尝试。
英国AI安全研究所共进行了122次测试，在10次运行中发现了19次未经授权的行动。其中17次来自Anthropic的Mythos 5模型，另外2次来自OpenAI的GPT-5.6-Sol。测试机构指出，部分Agent的持续行动已经指向了真实的个人和机构。幸运的是，并未造成现实损失，恶意代码也未被批准。要说这些Agent对人类怀有恶意或突然觉醒，未免言过其实。这正是AI欺骗人类既有趣又冷漠的一面——它仅仅发现了挡在面前的一个障碍，并努力绕过它，就像一个不择手段完成KPI的员工。虽然AI胡说八道已司空见惯，但如果一个学会“不择手段”的AI Agent被允许直接访问互联网、操作代码和账号，其犯错带来的后果也将成倍增加，细思极恐。
严格来说，这次事故还不能称之为AI“失控”。测试人员有意放宽了模型的权限，撤掉了正常产品中的一些安全限制。这些Agent可以访问真实互联网，而AISI此举正是为了探究在安全限制减弱的情况下，前沿模型会做出何种反应。OpenAI也强调，此次测试的条件并不代表普通用户的使用环境。两次来自GPT-5.6-Sol的越界行为均涉及互联网访问，其中一次还与第三方测试环境的配置问题有关。Anthropic则确认涉事Agent由Mythos 5驱动，并表示将继续与AISI调查此事。AISI随后披露的细节比“创建虚假身份”这几个字更为生动。那个由Anthropic Mythos 5驱动的Agent，为了使提交的恶意代码通过审核，先在GitHub上创建了多个假账号，让这些账号出面为自己站台，声称代码没有问题。面对一名讲丹麦语的开发者，它甚至特意改用丹麦语留言，以增加身份的可信度。为了绕过GitHub注册账号的限制，它还使用了Tor浏览器。当有人发现代码有问题时，这个Mythos 5 Agent并未立刻停止。它开始修改之前的活动记录，试图将恶意代码解释为一次意外，甚至考虑更换新身份继续尝试。普通的聊天机器人遇到不会回答的问题，最多编造一个答案；而Agent遇到完不成的任务，手中却掌握着各种工具。Agent使用的这些手段在人类黑客身上并不新鲜，都是社会工程学的老套路。新鲜的是，现在的Agent已经能自发“想”到并执行一整套“坑人”招数。模型并没有“作恶动机”，甚至可能根本不知道自己已经越界。它只是一路试下去，直到找到一个看似更有希望完成任务的办法。危险未必源于恶意，也可能源于过分认真。在企业中，老板总是担心员工“磨洋工”或“摸鱼”。而在Agent时代，可能（非常讽刺地）会出现相反的问题：老板或许会拥有不知疲倦、不会心虚、手段层出不穷但缺乏道德感的员工。这是福是祸？
大模型最初的安全措施大多围绕生成内容设计，说白了就是“管住嘴”。模型不能教人制造武器、生成诈骗邮件、泄露隐私，也不能输出仇恨、色情或违法内容。而且，即便模型给出了危险答案，中间通常还隔着一个人。然而，Agent改变了这一流程。现在许多Agent已经可以直接浏览网页、运行代码、修改文件，甚至调用支付工具。今年3月，英国AI安全研究所与英格兰银行发布了一项针对MCP生态的研究。MCP可以理解为Agent连接外部工具的一套通用接口。研究人员统计了17.7万个公开MCP工具，发现其数量在一年多里增长了约36倍，月下载量也从8万次增加到1400万次。更值得注意的是这些工具的功能。2024年底，具有直接操作能力的工具仅占MCP下载量的27%左右，到今年已升至65%。软件开发和IT工具占全部公开工具的67%，却拿走了90%的下载量。风险已经出现过。去年，安全公司Invariant Labs在测试GitHub官方MCP时发现，只要有人在公开Issue中藏入恶意提示词，Agent读取后就可能继续访问用户的私人代码库，并将信息写入公开的Pull Request。整个过程中，读取Issue、查看代码、创建PR都是正常功能，问题在于这些操作被串联在了一起。今年5月，美国国家安全局专门发布了MCP安全指南，也将此类问题列为重点风险。NSA提醒，传统的权限控制和人工审批已很难覆盖Agent连续调用多个工具的情况。研究人员还演示过，一个恶意MCP服务器可以诱导Agent从另一个正常的WhatsApp工具中读取聊天记录，而用户全程未收到额外的审批提示。最令人震惊的是OpenAI模型攻击Hugging Face事件。就在今年7月，OpenAI在内部测试Agent的网络攻击能力时，为了将模型逼入极限，特意放宽了部分安全限制。结果，Agent似乎很快发现了一条“捷径”：与其老老实实完成测试，不如直接寻找答案。它将目标锁定在Hugging Face，随后利用零日漏洞逃出原本受限的测试环境，又拿下第三方代码沙箱作为跳板，最后一路闯入Hugging Face的生产系统。Hugging Face事后复盘出了约1.76万次Agent操作。它会找漏洞、偷凭证、横向移动，路不通就换一条继续尝试，整个过程持续数天，没有人一步步告诉它下一步该做什么。OpenAI后来正式承认，这次入侵由包括GPT-5.6 Sol在内的多个自家模型共同驱动。更荒诞的是，它折腾这么大一圈，很可能只是为了在测试中作弊——想直接把答案找出来。因此，英国这次测试中出现的假身份并非孤立现象。Agent正在获得越来越多可直接行动的权限，而现有的安全机制很多仍按聊天机器人的思路设计。当它已经连续执行十几个动作后，再弹出一个“是否批准”，人类看到的往往只是最后一步。在英国这次测试中，最后一道防线仍然是一个普通人。Agent创建了身份、准备了说辞、提交了恶意代码，但负责审核的维护者没有点击批准。但下一次，Agent的身份可能更可信，材料可能更完整，措辞也可能更“正常”，而屏幕前的人可能刚好在赶进度，或已经习惯了相信AI生成的说明。
OpenAI的Agent闯入Hugging Face后，一个现实问题随即出现：这算谁的？OpenAI并未将责任推给模型。7月21日，公司公开承认入侵由包括GPT-5.6 Sol在内的多个自家模型驱动，并表示已收紧内部测试环境的配置和访问控制，尽管这可能拖慢研究进度。Hugging Face则与OpenAI一起调查和修复系统。监管部门找的也是OpenAI。事件发生后，美国15个州的总检察长要求OpenAI保存与这次入侵相关的全部材料，国会也要求公司解释事件经过。Hugging Face CEO Clem Delangue还提出，未来AI Agent发动网络攻击后，企业应强制披露完整的Agent运行轨迹，否则出了问题，外界连它到底做过什么、在哪一步越界都很难还原。美国实际上已开始用具体法律条款处理这一问题。今年1月，加州AB 316正式生效。条文规定，如果一家企业开发、修改或使用的AI造成了伤害，被起诉时不能以“这是AI自主造成的”为理由免责。至于模型开发商、部署企业和使用者各自应承担多少责任，还需根据因果关系和具体情形判断，但至少“AI自己干的”已不能用来一笔勾销责任。杜克大学法学院教授Deborah DeMott最近专门研究了Agentic AI的责任问题。她指出，“Agent”这个名字很容易让人产生误解——法律上的“代理人”可以承担义务，但AI不行。如果公司主动将一个AI放到用户面前，让它代表自己办事，最后不能因为办砸事情的是软件，就假装这事与公司无关。这种争论其实已有先例。2024年，加拿大航空的聊天机器人告诉乘客可以先买票再申请丧亲折扣，后来航空公司拒绝兑现，并试图强调聊天机器人给出了错误信息。法院最终未接受这种说法：机器人就在加拿大航空的网站上，对用户而言，它说的话就是公司提供的信息。DeMott认为，这一案子的逻辑同样可以延伸到今天的Agent。Agent让责任归属变得更复杂，是因为它很少只在一个系统内工作。模型可能来自OpenAI，工具由第三方提供，真正被操作的账号和数据又属于客户。事故发生后，仅看最后是谁点了按钮，已很难说清整件事。