Claude 这次的表现确实令人惊叹,直接在编程榜单上制造了断层。在最新刷新的 MirrorCode 排行榜上,Claude Fable 5 以 64% 的绝对成功率稳居榜首。紧随其后的 GPT-5.6 Sol 分数仅为前者的三分之一。
排在第四的 GPT-5.5 情况则更为严峻,不仅成绩仅剩 10%,甚至被自家前辈 GPT-5.4 超越。更有趣的是,Fable 5 在使用 Go 等主流语言时准确率为 64%,即便切换到冷门的 Ada 语言,成绩依然高达 61%。众所周知,在开源生态中,Python 的语料量大约是 Ada 的 230 倍。然而在 Fable 5 身上,性能仅下降了 3 个百分点。这不禁让人深思:如果模型仅依赖记忆热门语言的语法和写法,切换语言后成绩理应大幅下滑。但目前的测试结果暗示了另一种可能性——最强的模型已经摆脱了特定语料的限制,开始掌握从零构建完整软件项目的能力。
**卡死在 100% 通关线,100 亿 Token 极限测试**
MirrorCode 的测试环境极具挑战性。整套测试包含 25 个目标程序,涵盖 Unix 工具、解释器、数据查询、生物信息学、密码学和压缩工具等多个领域。模型被置于隔离环境中,无法访问互联网,看不到原项目源码,也不能下载第三方依赖。它仅能获取高层文档、部分可见测试用例以及一个可反复调用的原程序。模型需要通过不断向原程序输入数据、观察输出来推测内部逻辑,并逐步编写出一个行为一致的新程序。
最新榜单从测试集中筛选出 15 个 Medium 和 Large 难度的目标,每个目标要求使用两种编程语言实现,每种语言运行三次。更严格的是,可见测试与隐藏测试的完成率必须达到 100% 才算通过,99.9% 都不被接受。只要漏掉一个边缘案例,整次运行即判定为失败。为了逼迫模型填补最后的技术漏洞,MirrorCode 将单次运行预算提升至 100 亿 Token,最长允许连续运行 7 天。
论文中记录的成本最高的一次任务更是惊人:模型连续运行了 19 天,单次花费高达 2600 美元。在这 19 天里,模型反复运行原程序、比对结果、补写功能并重新运行测试。报错便查原因,输出不符便更换假设,局部通过后继续追查下一个缺口。整个过程更像是持续数天的深度调试,而非一次性生成。
**gotree** 的例子最为直观。这是一个拥有约 1.6 万行 Go 代码和 40 多个命令的生物信息学工具。Claude Opus 4.7 耗时 14 小时、花费 251 美元,通过了 2001 项测试中的 2000 项,完成度达到 99.95%。虽然因漏掉一个处理日期注释的冷门边界被 MirrorCode 的 100% 通关线拒之门外,但它已将原本需要数周的人工工程量压缩在十几个小时之内。据 Epoch 估算,如果不借助 AI,人类工程师完成同一任务至少需要 2 到 17 周。
**语料荒漠里,Fable 5 仅掉了 3 分**
MirrorCode 论文曾以 StarCoder 的公开训练混合数据作为参照。其中 Python 约占 8%,Ada 仅占 0.034%,前者约为后者的 230 倍。虽然我们无法确切知道闭源模型见过多少 Ada 代码,但以公开生态为参照,Ada 的稀缺程度已不言而喻。这门语言主要用于航空航天、国防等安全关键领域,无论是社区规模、教程数量还是开源项目,都无法与 Python、JavaScript 或 Go 相提并论。
然而,Fable 5 显然不是在将 Go 代码逐句翻译成 Ada,而是先摸清原程序的工作原理,再换一门语言将其行为重新构建出来。相比之下,其他模型的表现则大相径庭。GPT-5.6 Sol 从 24% 降至 19%,GPT-5.4 从 21% 降至 12%,GPT-5.5 更是从 17% 骤降至 5%。语言一旦切换,差距立刻被放大。
**把整个项目交给 AI**
如今,Cursor 已让数百个 AI Agent 协作近一周,从零编写出超过 100 万行、分布在 1000 个文件中的浏览器代码。Anthropic 则让 16 个 Claude Agent 并行运行近 2000 次会话,最终构建出一套包含 10 万行代码、能够编译 Linux 6.9 内核的 C 编译器。OpenAI 公布的数据显示,截至 5 月,Codex 个人用户样本中,70.2% 至少提交过一次预计超过一小时人类工作量的任务;25.6% 提交过超过八小时的任务。人们交给 AI 的计算单位,正从一段代码、一个 Bug,演变为一个下午、一周,甚至整个项目。
MirrorCode 64% 的成绩,正是对这种“项目级委托”的一次量化。这表明,只要目标足够明确、结果能够自动验收,前沿模型已经能够独立完成一部分中大型软件的开发。对于每一个正在将工作交给 AI 的人来说,这种变化已经近在眼前——以前你需要盯着它编写每一段代码,未来你更可能只在关键节点检查它是否跑偏。代码将变得越来越廉价,而那些能把问题说清楚、把结果验明白的人,将变得越来越值钱。
