8月25日,OpenAI正式发布了其首款自研AI加速芯片“Jalapeño”。该芯片具备高达13.4 petaflops的4位计算能力,可接入232GB的先进内存,并拥有15.4 TB/s的连接速度。基准测试显示,与OpenAI当前使用的Nvidia GB300芯片相比,Jalapeño能将端到端延迟降低多达3.6倍,同时功耗也更低。
虽然这些性能指标令人瞩目,但Jalapeño的设计过程同样引人深思。从最初的概念架构到首枚芯片制造完成,OpenAI仅用了不到20个月;而从首批寄存器传输级代码编写到最终流片,仅耗时9个月。尽管这一速度已属惊人,但随着大语言模型(LLM)能力的持续迭代以及与芯片设计工具的深度融合,业界普遍认为,这一速度很快就会被超越。
OpenAI对此充满信心。硬件副总裁Richard Ho表示,这些模型赋予了工程师“超能力”。虽然工程师仍是主导者,但他们的决策速度更快,能够探索更多可能性。Ho透露,Jalapeño的设计团队规模很小,整个项目平均人数不到100人,目前团队规模也基本维持在100人左右。这个数字涵盖了从系统设计到软件和供应链的各个环节,但不包括合作伙伴博通公司的员工。
OpenAI与博通的合作分工明确:OpenAI负责端到端的系统设计,包括推理加速器、内存层次结构和网络架构;而博通则负责从门电路开始的物理设计。这种合作模式在一定程度上降低了外界对OpenAI开发速度的预期。Verkor.io的联合创始人David Chin认为,博通的帮助对Jalapeño的快速推进至关重要,如果没有博通,从零开始几乎不可能实现如此进度。
加州大学圣地亚哥分校的安德鲁·卡恩教授对OpenAI的速度印象深刻,称其为“目前同类产品中的最佳”。他回忆起2016年IEEE设计自动化未来研讨会,当时Richard Ho作为嘉宾分享了对设计自动化的独到见解。OpenAI巧妙地利用了LLM来加速芯片设计。马里兰大学半导体计划与创新主任安库尔·斯里瓦斯塔瓦指出,LLM与以往自动化工具最大的不同在于其理解语言和代码的能力,这使其特别适用于处理芯片设计中的“语言问题”。
OpenAI构建了一个充分利用这一优势的工作流程。前端设计基于Google开源的高级综合工具链XLS展开。芯片设计人员可以使用DSLX(一种受Rust启发的领域特定语言)或C++编写代码,XLS将其转换为Verilog硬件描述语言。OpenAI技术专家Chris Leary指出,XLS在处理类似软件的事物方面表现出色,而LLM在这方面也很有优势。
此外,软件优化也是AI的强项。首批芯片交付后,团队立即利用内部AI模型进行软件优化,以运行SemiAnalysis的InferenceX等基准测试。在DeepSeek的多头潜在注意力内核测试中,性能从理论上限的0.31%提升至88.94%。Ho表示,这一可重复的结果缩短了从代工厂交付到量产启动之间的时间。团队使用的模型从早期的o3,演变为项目后期可用的GPT-6 Astra前身(甚至早于其公开发布时间)。这些新模型可以直接在Verilog中运行,无需经过XLS的中间转换,且能独立运行专有设计工具。
Ho还证实,团队使用了针对芯片设计微调的内部LLM,这些模型不对公众开放。虽然AI在后端优化方面的作用目前相对保守,但已显示出成效。例如,在矩阵乘法单元的布局优化中,AI引导的方法比人工基准减少了10%的面积。Verkor.io的专家认为,随着模型能力的提升,未来完全可以通过智能体循环大幅加速后端流程。
对于未来,Ho和Leary表示,Jalapeño的设计流程可能显得有些“过时”。第二代芯片将引入更多AI应用,特别是在验证和物理设计方面。Leary提到,团队现在拥有了用于自动波形处理和故障时钟信号分析的工具,这将极大提升调试效率。尽管如此,Ho强调,AI无法完全取代工程师,OpenAI的目标是利用AI让小团队也能快速构建高质量的成果。
