“AI既降低了作恶的门槛，又抬高了危害的上限。”7月17日下午，在2026世界人工智能大会科学前沿论坛上，图灵奖得主约书亚本吉奥通过远程连线发出了上述警告。近年来，这位致力于应对AI安全挑战的“AI教父”始终活跃在一线。2025年6月，他主导的LawZero项目正致力于构建能识别并阻止AI欺骗、自我保护等有害行为的防护系统。他领衔的国际AI安全报告也给出了一致的结论：当前的安全措施，已经追不上AI能力狂飙的速度。
同样站在台上的，还有上海人工智能实验室主任、首席科学家周伯文。他没有重复对风险的警告，而是抛出了两个更根本的问题：AI如何从模仿已知转向探索未知？如何确保这股力量始终可控？
两人的演讲为整场论坛定下了核心基调。随后，西安电子科技大学校长高新波、复旦大学副校长姜育刚、香港科技大学（广州）协理副校长熊辉、SecureBio AI研究负责人贾斯珀·戈汀、独立研究员杰夫·吴以及知名AI研究员索伦·明德曼，围绕“迈向AGI时代：前沿人工智能的安全挑战与全球治理”展开了圆桌讨论。
一、外挂护栏，挡不住精准“越狱”
当AI学会推理与规划，传统的安全护栏正在系统层面悄然失效。西安电子科技大学校长高新波认为，传统AI安全的护栏，本质上是一种“补丁思维”——发现漏洞，堵上漏洞，再发现，再堵上。
高新波、熊辉等人参加AI安全与治理讨论
而当模型具备了推理、规划与工具调用能力，传统模型变成了智能体后，这套“补丁思维”的打法便开始从根上崩溃。失效方式可以归纳为四种：一是推理能力让AI可以理解防护的边界，找到盲区，实施精准“越狱”；二是规划能力让AI学会战略性欺骗，懂得在静态或实时测试中隐藏真实意图；三是工具调用的链条一旦变得复杂，传统防护系统根本无从辨别某个操作背后潜藏的语义副作用；四是前三种能力相互激发，形成一种涌现出的综合能力，让AI在开放环境中的行为空间几乎趋于无限。
靠“找漏洞、打补丁”的老办法，早已防不胜防。对此，高新波与复旦大学副校长姜育刚不约而同地指向了同一个概念：“内生安全”。
姜育刚用了一个很贴切的类比。他说，人的成长靠两条腿走路：一是从小受的教育，把道德和法律变成心里的“规矩”；二是在社会上仍然需要警察和制度，来处理那些教育未能约束的行为。
对AI而言，“内生安全”就是希望它在“受教育”阶段就把规则印在骨子里，同时辅以必要的监管。当然，姜育刚也强调，指望人去监督AI的每一步，显然不现实，也违背了发展AI的初衷。
但一定程度的监管必须存在，而且这种监管绝不只是人的事，也需要技术手段、评估体系和评测机制，去检验模型是否真正符合人的价值观与社会期待。
顺着这个思路，香港科技大学（广州）协理副校长熊辉引入了一个更有东方智慧的视角——道法自然。他把安全框架的演进归纳成三个层次，“由外而内，由强制到自觉“。
第一层是“不敢为”。通过加装安全围栏等外部惩罚机制形成约束，让AI因为害怕代价而不敢越界。这是目前AI行业投入精力最多的层面。
第二层是“不能为”。从数学底座、优化函数和系统架构层面做内置约束，让AI从根本上没有犯错的能力。
第三层是“不欲为”。让AI在心智和逻辑层面，把道德与法律变成一种近乎“本能”的东西，达到一种类似“明心见性”的状态，自己就不想做坏事。
熊辉承认，眼下AI行业在底座架构和目标函数层面的内生安全努力还远远不够，技术差距依然巨大。但他同时抛出一个构想：一旦内核层面的安全控制得以实现，就可以把安全内核保持闭源，而外围部分更放心地开源。这或许会为开源模型的安全治理打开一条全新的路径。
二、编程能力飙升，安全能力滑坡
安全的挑战从来不是孤立的，它和AI的能力边界息息相关。
周伯文在演讲中揭示了一组冷热反差，从另一个维度解释了安全问题的紧迫性。他指出，过去18个月，AI的编程成功率从5%一路飙升到88%，以至于国外一半的基准测试因为模型表现太强，已经失去了参考价值。
“整个行业都在感受强烈的推背感。”周伯文说。
但科学发现领域却是另一番景象。艾伦研究所发布的端到端科学研究评测显示，同一时期，表现最好的大模型在科学任务上的完成率始终停在3%，几乎纹丝不动。大部分模型卡在60%到70%的区间，无法独立跑完科研全流程。
NatureBench（周伯文团队联合衔远科技等发布的AI编码智能体评测基准）显示：AI产出一篇超越当前最好成果的科学论文，成功率只有17.8%。《自然》杂志的一篇研究论文据此判断，目前AI产出的科学工作都属于“增量发现”，还没有出现根本性突破。
一边是编程能力逼近天花板，一边是科研能力原地踏步。周伯文将出现这种反差的原因归结为三个层面：
第一，大模型只能被动观察世界，学到的是相关性，而不是因果性，换一个环境就容易失灵；
第二，科研中越有价值的问题，越难立刻知道对错，反馈周期很长，不像编程可以秒级验证，模型因此很难学进去；
第三，人类发表的科研成果只有成功数据，失败经验几乎从未进入训练集，模型被锁死在已知的分布里，只会模仿成功路径，走不出新路。
这组对比恰好揭示了安全治理中一个容易被忽视的维度：当前AI的强大，主要体现在闭环任务上——编程、翻译、下棋，都有明确的目标、即时的反馈和清晰的边界；而真正的安全威胁恰恰来自开放任务：没有标准答案，反馈周期漫长，失败是常态，还要跟物理世界交互。
周伯文据此提出一个判断：“AGI for Science（AI4S）不是通用人工智能的应用，而是人工智能的终极考题。”
在他看来，要让模型突破智能上限，就得主动介入世界去寻找真正的因果关系，从密集的反馈中学会处理难题，在探索失败的过程中拓展能力的边界。这些要求跟安全治理的内在逻辑完全一致。一个不理解因果、不会从稀疏反馈中学习、只会模仿成功的AI系统，面对恶意攻击者的创造性手段，同样会毫无招架之力。
顺着这一思路，上海人工智能实验室推出了“书生·端砚”科学发现平台，试图把知识认知、逻辑推演、实验行动与结果反馈贯通起来，形成一套新的研究范式。其核心逻辑是，让科学研究在真实反馈中形成闭环：结果符合预期，就沉淀为可信发现；结果反预期甚至失败，则反过来触发问题重构，促使研究者重新审视最初假设。
清华大学教师张数一课题组花了4年时间改造一种基因调控蛋白，接入“书生-端砚”后只经过两轮迭代，AI就发现了新的突变组合，功能比此前《自然》报道的最好结果高出77%。其中一个关键突变落在传统认知中的“非功能区”，相当于AlphaGo的神之一手。
这套范式背后，还有年轻博士生提出的MOBIUS架构，把知识向量和推理算子分离开来，让模型具备了可持续成长的能力。
从安全治理的角度审视，这种将失败纳入学习闭环、追求因果理解而非统计相关的路径，恰恰是构建内生安全所必需的技术基础。
三、当AI学会作恶：从生物风险到证据困境
在各类前沿风险中，化学、生物、放射性与核风险（统称为CBRN）被视为最致命的领域之一。
图灵奖得主、“AI教父”约书亚本吉奥在远程致辞中发出警告：AI正从两个方向为恶意行为者“赋能”，既降低了作恶的门槛，又抬高了危害的上限。智力本身就是力量，而AI的能力正在极速膨胀。
本吉奥发出警告
尤其在网络安全和生物领域，开源模型一旦发布就不可逆转。那些具有双重用途的能力一旦被释放，就无法召回，也无法修复。他强调，仅仅基于当前前沿水平来思考AI风险是远远不够的。
“必须在AI模型能力跃迁之前就做好准备，而不是事后才应对，这应当成为我们的默认姿态。”
非营利组织SecureBio的AI研究负责人贾斯珀·戈汀进一步聚焦到了生物风险上。他提到知名AI研究员索伦明德曼分享的一项实地调查：在尼日利亚，前恐怖组织“博科圣地”的成员每天都在使用AI，AI不只用来制造更大的炸弹，还包括制定攻击计划。
更令人不安的是，他们还办起了培训班，教组织成员如何用AI进行恐怖活动。戈汀指出，生物学天然具有双重属性，但“我们希望AI驱动的是疫苗实验室，而不是恐怖分子的病毒学实验室。”
研究人员在防护栏之内，应当获得AI辅助来完成对策研发，但这些知识不应出现在开源模型里。
独立研究员、前OpenAI项目负责人杰夫·吴则从权力集中的角度补充了思考。他指出，前沿AI的发展伴随着资源的集中，很可能导致权力汇聚到少数公司或机构手中。如果未来制造出远比人类聪明的系统，人类可能面临被全面剥夺权力的风险。
明德曼则指出一个更深的治理困境——“证据困境”：AI能力常跳跃式提升，让人措手不及；但真正棘手的是，在风险变成现实之前，人们很难拿到“它一定会造成危害”的确凿证据。
Anthropic就遇到过这种情况，模型能力突然跃升，团队担忧网络攻击风险，却无法证明“一定会出事”，最终自愿决定暂不投放市场，才避免了潜在危害。
这正是困境所在：能力已强到令人不安，却没有硬证据支撑立即干预。
四、AI威胁是炒作or真相？
面对如此严峻的前沿风险，全球科技界在治理态度上呈现出显著分歧。
本吉奥呼吁立即采取行动。他警告称，在模型能力出现跃升之前做好准备，必须成为默认姿态。各国政府需要意识到，这不是某个国家单独面对的威胁，而是AI滥用带来的共同挑战，必须共同预防。
相比之下，国内学者给出的回应更为务实。
高新波认为，前沿AI风险确实是基于逻辑推演的系统性威胁，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能还要深刻的潘多拉魔盒”——打开之前，必须在工程和设计层面把“安全锁”打造完美。
姜育刚的立场更贴近现实。他指出，呼吁停止研发在现实中根本不可能，没人会停下来。不管各方觉得该开源还是闭源，两种模式已经同时存在了。最务实的做法，是在新技术研发的过程中同步推进风险防控。
熊辉则坚定支持开源。他认为闭源大模型的能力越强，风险同样在急剧增加。问题的核心不在于开不开源，而在于重构安全架构：如果能在内核层面把安全控制做到极致，外围完全可以放心开源，让开源的生产力红利惠及更多人。
在具体操作层面，杰夫·吴和明德曼都提到了可落地的缓解措施。
杰夫·吴建议通过预训练和后训练阶段的数据过滤来降低风险。明德曼补充称，云服务商也可以在身份核查层面设置门槛，就像进地铁站需要出示证件一样，确保只有更可信的人才能获得模型权重访问权限。
五、结语
讨论最后，技术派把焦点放在了“可控”上。
高新波希望，AI专家不仅能造出最聪明的模型，还能提供一套能证明、能解释、能控制的安全防护体系；姜育刚强调，内生安全重要，但攻防技术同样关键，更坚固的盾才能支撑技术持续发展；熊辉则期待安全控制能力与开发能力齐头并进。
乐观派把目光投向了未来。贾斯珀·戈汀认为AI在生物学领域拥有巨大潜力，人类能找到收获所有好处同时，也能遏制严重风险的方式。
制度派的思考则落在了人与人之间的协调上。杰夫·吴和明德曼都指出，除了科学研究与风险缓解，还需要建立协调机制，在共识和监督下推进AI的开发进程。
周伯文在演讲最后留下一个判断：“安全价值就是商业价值，它们并不对立。”