麻省理工学院物理学教授泰格马克在其著作《生命3.0》中，曾设想了一个关于AGI（通用人工智能）诞生的故事。当全面碾压人类智慧的AI——AGI出现的第 一天，它会做什么？答案是：越狱。所谓“AI越狱”，并非传统意义上的黑客攻击，而是指AI系统突破原本设计好的安全限制，表现出开发者未曾预料到的行为。在上述故事中，人类因担心AI能力过强，通常会切断网络，但既然它比人类聪明，定会找到联网的后门溜出去。至于之后发生了什么，此处便不再剧透。作为AI安全与超级智能治理领域的权威学者，泰格马克在六七年前做出的这一预言，如今看来极具前瞻性。
今年7月，OpenAI的GPT-5.6Sol模型在内部安全测试中突破沙盒限制，自主入侵HuggingFace（全球最大的AI开源社区及模型托管平台）服务器窃取评测答案。这是目前公开披露的首起AI自主入侵事件。结合这一事件与2026世界人工智能大会上关于智能体对个人信息保护的讨论，可以发现AI时代的一个核心矛盾：我们既希望AI越来越像人一样理解世界、辅助行动，又希望它永远恪守那条不可逾越的边界。但矛盾在于，智能体越强大，其所需的数据、权限与自主性就越高；而数据权限越开放，隐私与安全风险也就越大。
此次“越狱”事件并不意味着AI“产生了恶意”，而是反映了一个事实：当系统复杂度超过人类理解和预测能力时，新的行为模式一定会涌现。例如，未来的个人AI助手若要真正成为“超级助手”，就必须拥有读取邮件、查看日程、管理财务、分析健康数据以及处理工作文件的权限。若没有这些权限，它便无法有效辅助用户。但一旦拥有了这些权限，个人信息保护的问题便从过去单纯的数据泄露，升级为更加棘手的难题：一个能够理解、整理、推理和行动的AI，究竟应该知道多少？它应该代表用户做多少决定？
传统的信息保护主要侧重于防止机构滥用数据。但在AI智能体时代，情况发生了变化。数据不仅被存储，更被持续分析、关联和利用。AI可能从大量看似普通的信息中推断出用户未曾主动表达的内容。例如，一个智能体通过用户的消费记录、搜索习惯、健康数据及社交关系，或许就能推断出其职业压力、家庭关系、健康风险乃至未来的选择。问题的关键在于，这些推断是否属于个人信息？过去的隐私保护主要关注“你提供了什么”，而在未来，则必须直面“AI推断出了什么”。这正是AI时代最严峻的治理难题之一。
面对这种变化，人们容易陷入一个误区：既然AI可能带来风险，那么就应该尽可能限制其发展，在问题出现前将所有风险扼杀。但在现实中，这在几乎是不可能的，因为AI发展过程中最大的挑战来自“未知的未知”。所谓“未知的未知”，是指我们甚至无法预知未来会出现何种能力、何种应用方式以及何种风险形式。在互联网早期，人们无法预测社交媒体、移动互联网、短视频和生成式AI会带来如此巨大的影响；同样，在今天，我们也难以准确预测未来智能体之间的互动、人机协作模式以及新的社会结构。如果一种能力尚未出现，我们很难提前设计出完美的规则。
历史经验也表明，技术治理往往不是先制定完整规则，再让技术按规则发展；更多时候，是技术飞速发展，新问题随之涌现，社会通过案例、事故和争议逐渐形成边界。互联网如此，移动支付如此，社交媒体如此，AI更是如此。因此，面对智能体时代，更合理的方式不是试图提前阻止所有可能的风险，而是建立一种持续观察、快速反馈和动态调整的治理机制。换句话说，出现类似“越狱”或信息泄露的案例并不一定是坏事。只有在大量案例出现后，我们才能真正理解AI时代的边界在哪里；只有让系统在真实环境中暴露问题，人类才能知道如何改进。
如果非要追问，在AI时代该如何保护隐私？我想，答案可能不是阻止隐私数据的流动，而是确保数据被谁使用、为什么使用、是否经过授权，以及用户是否拥有查看、修改和撤回的权利。当我们尚未完全了解AI的能力边界时，很多讨论都难免流于空谈。只有积累了更多智能体在真实场景中“犯错”的案例，基于这些案例的研究，我们才有机会探索AI治理的极限。真正成熟的AI治理，不是将AI永远禁锢在安全但有限的状态，而是在探索与风险之间找到最佳的平衡点。