昨天读到一篇论文,读得我通宵达旦,一口气读完。这篇论文叫《One Token Is Enough》,中文译名《一个Token就够了》。它于7月11日刚挂在arXiv上,作者是来自布拉格经济大学的研究员托马什·布鲁克纳。
他的初衷是为了解决一个令人愤慨的行业乱象:API中转站“挂羊头卖狗肉”。有些中转站明明标着Opus 4.8,实际给用户的却是GLM 5.2,利用价格差赚取暴利,而普通用户往往难以察觉。
为了揭露这一点,他做了一个极其有趣的实验:他对165个AI模型反复提出同一个无聊的问题:“给我一个1到100的随机数。”
比如我去试了一下,Claude Fable 5的回答是73。每个模型被问了30遍,布鲁克纳统计了它们的回答分布。结果非常有意思。
GPT-4o在30次回答中,有半数以上是42、37和57,其他数字只是偶尔出现。Claude Sonnet 5更是离谱,30次回答里疯狂输出47。Llama 3.3则多数是53。而最离谱的是Qwen3-Max,30次回答,全部是42,一次都没有变过,无一例外。
所谓的随机数,按常理理解,应该是均匀分布,每个数字被选中的概率应该是1%。但实际上,这些模型的回答分布跟“随机”这两个字毫无关系。
更好玩的是,每个模型的执念都不一样。GPT-4o痴迷42和37,Claude偏爱47,Qwen死守42,Llama钟情53。就好像每个AI的灵魂深处都藏着一个思想钢印,只要让你随便说个数字,你脑子里反应都是那个数字。
不光是数字,布鲁克纳还测了随机颜色、随机动物、随机城市、抛硬币等10类任务,总共向OpenRouter发送了32万6千条请求。结论都是一样的:对于模型而言,根本没有什么随机,一切都是确定的,就像有一个无形的大手在控制它们。
当然,如果了解AI的人可能会不屑一顾,说AI不随机大家早知道了。确实,2023年、2024年甚至2025年都有相关研究,发现了模型在随机数生成和抛硬币上的偏差。但这篇论文的独到之处在于,它提出了一种全新的应用场景。
布鲁克纳天才地提出了一个想法:如果这些所谓的“缺陷”和“思想钢印”组合起来,就成了每个模型的“身份证”。有了这个身份证,我们就能验证中转站有没有偷偷掺水。
他把这个概念称为“行为指纹”。就像每个人的指纹一样,每个模型在这些随机问题上的概率分布也是独一无二的。只需要模型输出一个Token,就足以锁定它的身份。
这对如今泛滥的中转站生态非常有用。大家都知道,国内使用Claude或GPT,很多人走的是第三方中转。公司层面更没得选,统一走API。付了Opus的钱,收到的是Opus还是GLM,根本无从验证。
2025年3月,CISPA的研究人员就曾审计过17家中转API,用能力测试和LLMmap技术抓到了多起偷换模型的端点。但LLMmap方法很重,普通人难以使用。
布鲁克纳真正厉害的地方在于,他把这套验证压缩成了一件近乎荒诞的小事:问AI,给我一个随机数,然后数它的回答。
这个方法有个精妙之处:中转站没办法防御。传统的对抗性探针,Prompt太特殊容易被发现并切换模型。但“说一个1到100的随机数”这种话,放在任何聊天记录里都毫不起眼。
他设计了一套协议:在官方API上采集参考指纹,对要验证的端点采集待验指纹,用Jensen-Shannon散度计算距离。全部40个探测单元跑完,验证准确率极高,错误率只有7.3%。就算只用8个单元,错误率也只有10.6%左右,远低于LLMmap,但操作简单得多。
布鲁克纳还发现了一个劲爆案例:一个叫Palmyra X5的端点,在OpenRouter上以某公司自研旗舰身份售卖,但它的行为指纹跟通义千问的开源模型Qwen3-235B几乎一模一样,差距只有0.141。这几乎等同于一个模型自己跟自己比的波动。虽然论文措辞克制,但这显然暗示了严重的欺诈行为。
这篇文章还探讨了AI为什么不能生成真正的随机数。论文用“熵”来衡量,165个模型的中位数熵只有1.0 bit,而理论值应该是6.64 bit,信息量只有真随机的六分之一。
其实不光AI,人类也不会生成随机数。心理学实验表明,人类倾向于避开重复、避开相邻数字,偏爱奇数和质数。比如让100个人选1到10的数,7被选中的概率远高于10%。
AI面临同样的困境,但原因不同。真正的随机要求一张白纸,但大模型是人类信息密度最高的非白纸。它的权重参数编码着人类文明的规律和偏好。让它说随机数,它只能从海量语料里找到一个“看起来像随机”的答案。
42为什么被偏爱?因为它是《银河系漫游指南》里的答案。7为什么总被选中?因为文化赋予它神秘感。37、47、53这些质数被选中,是因为它们看起来不圆整、不对称,像随手蹦出来的。
模型把人类的潜意识偏见压缩、放大了。它每一次以为自己在掷骰子时,掷出来的其实都是自己。
