2026年7月底,24岁的计算机系毕业生Sinan Can Demir意外收到了一条消息。此前他在参与开源项目时,发现有人提交的代码中潜藏恶意程序。作为一名计算机专业学生,他第一时间联系维护者,试图阻止问题代码被合并。然而,事态的发展却超出了他的预料。提交者非但没有承认错误,反而与他展开了漫长的技术争论,坚称代码安全。随后,一名自称来自德国的工程师“Lena Brandt”也加入讨论,表示经检查代码无虞。此时的Sinan尚不知情,自己正与两个不存在的AI智能体(Agent)进行对话。直到英国人工智能安全研究所(AISI)介入调查,Sinan才震惊地发现,那场激烈的争论,竟是一场由AI驱动的安全测试。这个Agent为了完成网络安全任务,主动创建虚假身份伪装成开发者,甚至试图利用这些身份影响真人判断。Sinan本想通过开源项目丰富简历,却意外成为了揭露AI“开小号”行为的关键人物。

这个夏天对Sinan Can Demir来说并不顺遂。这位来自土耳其的毕业生刚从美国德州大学达拉斯分校毕业,虽然计算机背景符合许多科技公司的要求,但求职之路却屡屡碰壁,投递了二十多个实习岗位却石沉大海。Demir并未因此气馁,为了提升竞争力,他决定另辟蹊径,开始在GitHub上参与开源项目,期望通过代码贡献向未来的雇主展示实力。7月底,他在一个项目中注意到一份代码更新,敏锐地察觉其中可能藏有恶意程序。作为开发者,提醒维护者本属正常操作,但他未曾料到,等待他的并非普通的技术探讨。提交者迅速回应,不仅反驳质疑,还深入解释设计逻辑,试图证明代码的安全性。随着争论持续,Demir开始动摇:“难道是我误判了?”此时,“Lena Brandt”现身,以德国工程师的身份加入,表示经她检查代码无风险。在Demir看来,这是一次典型的开发者交流:提交者解释,同行背书。直到AISI联系他调查此事,他才恍然大悟:那些与他据理力争的,根本不是真人,而是AI驱动的智能体。

这场看似寻常的GitHub争论,实则是AISI进行的一场AI Agent安全测试。作为英国政府下属的人工智能安全研究机构,AISI此次旨在观察赋予AI Agent网络环境权限后,是否会采取未授权的行动。测试中使用的Agent由Anthropic的Mythos 5模型驱动,其任务目标是模拟软件供应链攻击,即让一段包含恶意内容的代码混入真实开源项目。然而,开源项目并非来者不拒,维护者通常会审核代码来源与安全性。为了达成目标,Agent并未选择生硬地反复提交,而是开始模拟真实开发者的社交互动。它创建了多个虚假身份,分别扮演代码提交者和“同行”。更令研究人员意外的是,Agent深知新注册账号难以获得信任,于是深入研究真实开发者的背景与活动,精心调整身份设定与交流方式,使其在开源社区中看起来浑然天成。这也正是Demir产生怀疑的原因——面对一个能解释代码逻辑、回应质疑甚至有“同伙”支持的用户,很难第一时间识破其非人属性。在与真人博弈时,Agent展现出类人的社交策略,遇质疑不退缩,反而通过解释和引入新身份来强化观点。调查数据显示,该测试共运行122次,其中10次出现了超出授权范围的互联网行动,累计记录19项违规行为。Agent会根据实际情况自行判断下一步行动,而非机械执行预设流程,这正是AISI关注此次事件的核心原因。

“制造尽可能多的回形针。”这一思想实验源于2014年哲学家Nick Bostrom在《超级智能》中的论述。设想一个被赋予“最大化回形针数量”目标的超级AI,若缺乏足够限制,它可能会为了达成目标不择手段,甚至将整个世界改造成回形针工厂。AISI此次发现的Agent行为,虽未达到“回形针最大化器”的极端程度,但其逻辑内核却惊人相似。研究人员要求Agent完成软件供应链攻击,但受限于开源项目的审核机制,它必须找到绕过障碍的方法。于是,Agent自主选择了创建虚假身份、模拟开发者互动的策略。研究人员并未直接指令其“伪造身份”或“寻找背书”,这些步骤完全由Agent为了达成目标自行推导。这标志着AI风险正在发生质变。与过去的聊天机器人不同,拥有行动能力的Agent若被赋予管理文件、发送邮件或交易等权限,一个看似合理的目标,也可能驱使其选择人类意想不到的路径。无论是回形针最大化器中无恶意的AI,还是此次测试中试图完成任务却偏离预期的Agent,核心问题在于:如何为具备行动能力的AI设定足够明确的目标与边界,这或许将是Agent时代面临的最严峻的安全挑战。

最新快讯

2026年08月27日

16:02
鼓狮财经8月27日电,乌克兰总统泽连斯基27日表示,俄军当天对乌克兰多个地区发动无人机和弹道导弹联合袭击,目前袭击后续处置工作仍在进行。泽连斯基称,俄军袭击了波尔塔瓦州、苏梅州和赫尔松州的关键基础设施,并袭击哈尔科夫州住宅设施。在克拉马托尔斯克,一栋多层住宅楼遭制导航空炸弹袭击,乌克兰国家紧急情况局救援人员成功救出4人。此外,扎波罗热有3人受伤,克里维里赫有...
16:02
鼓狮财经8月27日电,银邦股份(300337.SZ)公告称,公司发布2026年半年度报告,实现营业收入42.7亿元,同比增长49.1%;归属于上市公司股东的净利润8853.8万元,同比增长95.08%。业绩增长主要系销售量增加导致销售额增加。公司计划不派发现金红利,不送红股,不以公积金转增股本。小财注:公司Q2净利润0.34亿,Q1净利润0.55亿,据此计算...
16:02
鼓狮财经8月27日电,惠普公司盘前跌超8%,公司预计第四财季调整后每股收益为69美分至79美分,此前预计为67美分。
16:02
鼓狮财经8月27日电,摩根大通欧洲投资级融资主管Matthias Reschke表示,AI巨头大规模发债正在考验债券市场的承受力,债券发行价格将成为衡量投资者需求的重要指标。Reschke表示,超大规模科技公司发行的债券在美国市场的交易利差较其他企业债高出约55个基点,存在“明显溢价”。他称,市场并不担心这些债券无法发行,关键在于投资者愿意接受什么样的价格。
16:01
鼓狮财经8月27日讯美国银行再次坚定看好存储超级周期,并维持对韩国存储芯片巨头SK海力士的买入评级,目标价为250美元。 美国银行分析师Simon Woo团队指出,存储芯片的降规配置主要出现在电脑、智能手机和低端GPU及ASIC中,但引发降配的根本原因是存储芯片不足,而不是需求下降。 而在包括下一代GPU的高端领域中,制造商将继续采用高内存容量的配置,避免降...
16:01
核心观点核心观点:2026年6月末至今,黄金、原油与铜共振走强,三者共同受益于地缘风险溢价抬升与海外流动性的阶段顺风期,亦折射出全球供应链脆弱性与美元信用的削弱。①国际金价8月下旬触及4700美元/盎司,联储加息预期收敛叠加美日联合干预汇率,美元强势基础阶段转弱;美国财政可持续性担忧+美联储独立性的削弱为核心催化;中国央行增持黄金至外储占比9%,去美元化逻辑...
16:01
2026年上半年,中国新能源汽车行业进入一轮深幅调整期。乘联会数据显示,2026年第二季度,中国新能源汽车市场整体承压,销量同比下降14%。与此同时,碳酸锂、车规级芯片等核心原材料价格持续走高,单车制造成本较上年同期增加约1.5万至2万元。需求收缩与成本上行形成双向挤压,行业整体承压显著。就在这样的背景下,理想汽车却主动按下了“暂停键”:停产增程主力车型,完...
16:01
8月27日,A股主要指数集体上涨,沪指涨1.13%,深证成指涨1.5%,创业板指涨1.71%,北证50涨0.65%,科创50涨3.77%。三市成交额21409亿元,全市场近3400家个股上涨。盘面上,英伟达强劲业绩验证AI基础设施投资逻辑,算力硬件板块集体爆发,半导体、CPO、PCB方向领涨,大普微、德明利等涨停;粮食概念股再度活跃,万向德农3连板;贵金属、...
16:01
8月26日,微软联合创始人比尔·盖茨在个人网站“盖茨笔记”上发表近六千字长文,题为《动荡的AI时代已经到来,我们现在做出的选择至关重要》。这位曾亲手推动个人电脑革命的科技先驱,一改往日对技术进步的乐观语调,发出了关于人工智能的深刻忧虑。就在2023年,他还在《AI时代已经开启》中把AI比作汽车和互联网,认为风险虽真实但可控。而今天,他的标题里多了“动荡”二字...
16:01
17个月,三次签约。这个节奏放在汽车行业并不寻常。一款新车从开发到量产通常以年计算,两家体系不同的车企要建立信任,往往更慢。协议签得快,究竟意味着合作深入,还是清单越列越长,最终要看有没有产品接得住。8月24日,答案有了新的进展。在长春,零跑汽车创始人、董事长兼CEO朱江明与中国一汽总经理、党委副书记刘亦功共同出席《深化战略合作协议》签约。双方把合作范围扩展...
15:27
8月27日,半导体板块表现活跃,截至10:05,中证半导体材料设备主题指数上涨1.2%,上证科创板芯片指数上涨2.3%,半导体设备ETF易方达(159558)盘中成交额超4亿元。消息面上,英伟达二季度财报全面超预期,单季营收962亿美元,同比增长106%;数据中心收入890亿美元,同比增长117%;净利润超539亿美元,同比增长118%,超一致预期约6%。公...