9个月后,OpenAI的芯片成绩单终于揭晓。8月25日,在Hot Chips大会上,OpenAI硬件负责人Richard Ho公布了Jalapeño芯片的首次公开跑分。在SemiAnalysis的InferenceX基准测试中,这款由OpenAI与博通联合打造的推理芯片,在「每用户token数」和「每千瓦吞吐量」两项关键指标上,双双超越了当下市面上最先进的推理处理器——英伟达Blackwell系统。
具体而言,OpenAI使用SemiAnalysis的公开基准工具InferenceX,在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三款公开大模型上与英伟达对测。结果显示,三款模型上,Jalapeño的峰值每瓦吞吐量是英伟达系统的1.5至1.9倍,意味着用同样电量,Jalapeño能多干近一倍的活。低延迟场景差距更大,跑DeepSeek R1时,单用户生成速度最高约700 token/s,而英伟达GB300只有约169 token/s。换算下来,Jalapeño的速度是后者的4.9倍,意味着用户等待时间缩短了将近四分之三。
「Jalapeño能够在单位功耗下处理更多AI任务,同时还能更快地返回响应。Jalapeño采用单一架构能完成更高的吞吐量和更低的延迟,而现有硬件系统通常需要在两者之间做出权衡。」OpenAI在官方博客中这样总结。
按计划,这颗芯片2026年底才会以「极小规模」部署,真正上量要等到2027年。但这款芯片的独特之处,不只是跑得更强。它是头部模型厂商自研芯片落地的第一步,是一颗专为模型而生的芯片。过去二十年,行业的默认秩序是「为芯片适配模型」,英伟达发布什么,大家适配什么;而这一次,顺序倒了过来。这颗为模型而生的芯片,究竟有何不同?
**01 AI造芯,只需9个月**
Jalapeño主要由OpenAI负责架构设计,博通参与实现、网络和连接,Celestica负责板卡与机架集成。目前,该芯片设定在额定功耗700W,搭载HBM4,单封装内存带宽约15.4TB/s,配独立I/O芯片处理机架内外通信;B0版的MXFP4理论算力为13.4 PFLOPS。
从初始设计到完成流片,Jalapeño只用了9个月。如果从2025年10月OpenAI与博通官宣合作算起,到今天拿出完整的第三方见证跑分,满打满算也不到一年。而芯片行业的正常节奏是什么?一颗高性能ASIC从架构定义、RTL设计、验证、物理实现到流片,常规周期是18到24个月起步。这个周期几十年来压缩得极其缓慢,它往往受制于工程师读懂需求、写出代码、跑完验证的速度。谷歌TPU、亚马逊Trainium首代用了两年才走完所有流程。OpenAI作为一个从未造过芯片的公司,首度出手就把周期砍掉了一半以上。
飞速造芯的背后,是AI在给造芯这件事本身加速。据介绍,在GPT-OSS的部分attention和MoE模块中,AI生成的kernel比此前人工专家编写的版本快1.5至1.8倍。OpenAI借助Codex和GPT-Astra,只用了大约两个月就完成了对DeepSeek R1和Kimi K2.5的移植和优化。这种AI能力早已不局限于模型调优,而是渗透到了芯片设计、驱动开发、软硬件适配等全流程。
更重要的是,这不是一次性的加速冲刺。据公开信息,OpenAI的跑分用的还是A0版工程芯片,改进版B0已进入台积电N3P工艺的制造阶段;第二代芯片已经进入深入开发,第三代开始规划。当芯片的研发周期从24个月压到9个月,意味着同样的时间能多迭代一倍以上的芯片迭代,每一代又都能吸收最新的模型架构洞察,用自家模型加速自家芯片设计这条路,开始对握有前沿模型和芯片项目的公司开放。「一年一代」这个节奏,不再是老牌芯片巨头厂商才能做到,OpenAI想用AI直接抄近道。
**02 跑赢英伟达的秘密,让数据不挪窝**
如果先搞懂这颗芯片的设计哲学,只有一句话:少搬数据。芯片行业有个残酷的常识,「计算几乎免费,但搬运数据才贵」。大模型推理的瓶颈不在算力,而在于每生成一个token,都要把巨量的模型权重和上下文缓存(KV缓存)从内存里搬进搬出;通用GPU的算力单元大半时间不是在计算,而是在等数据。这也是很多芯片纸面峰值很高、实际负载只能发挥六七成的根源。
Jalapeño的所有架构选择基本都离不开这个痛点。它把计算核心和HBM4内存切成对应的「切片」,每个核心对自己那片内存拥有低延迟的直达通道,相当于不让工人跑公共仓库领料,而是给每人配一个专属工具箱。同时,单封装15.4TB/s的内存带宽,能保证工具箱够大够快。官方说法是,模型生成回答时反复要用的「数据」,能被「显式地放置并保持在本地」,被明确安排在干活的工作台手边、不需要被反复远程调用,省下来回搬运数据的时间。
架构上最值得注意的选择是,Jalapeño上,prefill(处理用户输入)和decode(逐个生成token)由同一颗加速器完成,而不是像英伟达Rubin那样,把prefill拆给专用的CPX芯片。OpenAI理由很实在,芯片运转时真实流量的构成一直在变,从聊天到推理模型再到Agent,输入、缓存、输出token的比例已经面目全非,今天按固定比例配好两种芯片,明天流量一变就会有一半在闲置。与其追求纸面峰值,不如让每颗芯片什么都能干。这是「为模型造芯片」最生动的体现之一,让芯片设计跟着自家模型流量的变化走,而不是跟着传统逻辑走。
以GPT-OSS 120B为例,效率上,每千瓦每秒处理约8.54万个token,同一度电干近两倍的活;速度上,单用户每秒最高生成1459个token,对手535个。而且模型越大优势越明显:6700亿参数的DeepSeek R1上,效率高1.7倍,低延迟模式下单用户700对169 token/s;万亿参数的Kimi K2.5上,从提问到答完的首延迟1.56秒,对手要5.31秒。当把交互速度固定在100 token/s/用户这个主流水平时,Jalapeño在Kimi K2.5上的吞吐量是英伟达GB300的9倍以上,也就是同样的服务质量,它能同时接待9倍的用户需求。
但这份成绩单同样有水分,不代表胜利。我们看到跑分数据主要由OpenAI提供,SemiAnalysis只是进实验室现场见证了运行,并未独立完成全部测试。而且,Jalapeño的公开结果全部来自约8k输入、1k输出的单轮推理,这是相对容易调优的负载。同时,对更长上下文、多轮交互的智能体任务,OpenAI一个公开数字都没给。要知道,Agent恰恰是当下推理需求增长最猛的场景,也最考验路由、前缀缓存这些系统真功夫。
**03 为模型而生的芯片,开始争夺AI定价权**
这份成绩单里还埋着一个野心。在这次跑分测评中,DeepSeek R1和Kimi K2.5这两个竞争对手的模型,拿到了和自家GPT-OSS完全同等的待遇。尽管DeepSeek采用的MLA注意力机制是它的自研架构,但OpenAI还是从零实现了这套架构所需的底层核心计算代码。为竞争对手的私有架构专门开发底层代码,这已经超出了「证明芯片通用」的需要,更像是暗暗证明,任何一家的模型,都能在这颗芯片上快速跑到极致。
这条流水线指向一门尚未宣布的生意。如果Jalapeño的每token成本确实比英伟达更低,OpenAI完全可以像AWS卖云那样,把推理算力租给其他模型公司,先为自己建基础设施,再把富余能力开放出去。OpenAI至今未就「出售算力」做出任何公开表态,然而,一家公司的长远野心,往往通过它的工程决策露出端倪。
巧合的是,就在Jalapeño公布成绩单的前一天,8月24日,英伟达也拿出了Vera Rubin的跑分。英伟达宣布Rubin机架级系统全面投产,并公布在Artificial Analysis基准下,新平台跑Gemma 4 31B,10万token长上下文场景做到每秒3400个输出token,比最接近的竞品快4倍;配合此前CoreWeave的实测,Vera Rubin NVL72每兆瓦token吞吐量是上一代GB200的10倍。更有戏剧性的是,同一天,苹果也推出了全球首款量产2nm芯片M6,首发搭载于Mac mini,多线程性能较上代提升40%,双16核神经引擎带来翻倍的本地AI算力;同场的M5 Ultra把Mac的统一内存推到512GB,多台Mac Studio还能组集群跑分布式推理。
苹果显然是围绕着硬件,希望数据留在本地、不按token付费,让Mac成为云端算力之外的另一个选项。48小时,三颗芯片。把它们摆在一起,我们能看到手机巨头、算力老大和头部模型公司在AI时代的芯片上,走出了三条完全不同的路。苹果赌制程与端侧,用最先进的工艺把AI塞进每个人桌上的盒子,绕开云端的按量计费;英伟达赌通用与系统,七颗芯片协同成一台机器,为所有模型保持领先半代;OpenAI赌垂直与专用,把自家模型的需求直接硬化进电路,换取极致的每token成本。三条路在技术上互不兼容,但他们已经把算力这门生意,从一家公司的主导,变成三种势力的博弈。从这份成绩单公布的那一刻起,模型企业的真正买家首次用自己的芯片、自己的考题、自己的成本结构,给出了另一个答案。
