2024年3月,英伟达创始人黄仁勋在GTC大会上首次提出了“超节点”这一概念。他现场展示了NVL72系列如何将36个Grace CPU和72个Blackwell GPU整合进一个液冷机柜中。这与传统“8卡服务器即一个节点”的模式截然不同。所谓的超节点,是指利用高速互联技术,将大量GPU和CPU从分散的多台服务器整合为一个单一的物理节点,也就是黄仁勋口中的“一台超级计算机”。
当时,黄仁勋在台上高呼超节点概念时,这一趋势并未立即成为风口。NVL72系列曾因散热问题推迟交付,一度被媒体质疑为“画饼”。然而,随后巨头们的实际行动为这一概念正名。媒体报道称,马斯克旗下的xAI曾向黄仁勋加价插队,订购了1600台GB200 NVL72服务器机柜,甚至与甲骨文董事长拉里·埃里森共同邀请黄仁勋共进晚餐。
两年后,黄仁勋对此进行了澄清:“确实一起吃了饭,气氛很好,但他们从来没求过GPU,只需要正常下单就行。” 黄仁勋所言非虚,如今巨头们争抢的已不再是单一的GPU,而是集成了芯片的完整AI机柜。
2024年7月,英伟达硬件工程高级副总裁Andrew Bell透露,通过与十家制造伙伴合作,英伟达每天可产出最高1000个Vera Rubin机柜。而在大洋彼岸的中国,距离黄仁勋提出超节点概念仅一年后,华为便推出了自家的CloudMatrix 384,由14个机柜连接384张卡,卡数是NVL72的5倍多,占地面积是其16倍。
这种以量取胜的策略,确实实现了弯道超车。据SemiAnalysis拆解数据,单个CloudMatrix 384集群的BF16性能总体是NVL72的1.7倍,总内存容量是NVL72的3.6倍,总内存带宽更是后者的2.1倍。华为点燃的这把超节点之火,随后一年多里被整个国产算力生态奉为“圣杯”,仅在2024年世界人工智能大会上,就有20多家企业发布了超节点相关方案。
超节点确实是一门被逼出来的创新。一方面,摩尔定律逼近极限,锁死了单颗芯片的性能天花板;另一方面,大模型参数规模的军备竞赛从未停止,持续推高算力需求。因此,它是兵家必争之地。同时,超节点也是一块诱人的蛋糕。正如黄仁勋反复强调的,英伟达卖的不是芯片,而是造超级计算机、开AI工厂。从芯片、互联、软件、存储到工程部署,围绕超节点的上下游每个环节都蕴藏着巨大利润。
阿里云在微信公众号上认领了Kimi K3模型,表示其灵骏真武M890超节点在Day0就完成了适配。Kimi在技术报告中指出,大模型Scaling并未消失,且部署前和部署后都需要持续投入算力。这揭示了模型参数规模以每年10倍速度增长的趋势,迈向十万亿级。这迫使算力集群规模向千卡、万卡、十万卡乃至百万卡迈进。
面对不同的需求规模,建集群的方式也在改变。传统Scale Out(横向扩展)模式正遭遇三堵墙:第一是通信瓶颈,大模型训练中的专家并行和张量并行对带宽要求极高,传统以太网难以承受;第二是功耗墙,GPU功耗从A100的400W飙升到Blackwell时代的1000W以上,GB200更是突破2700W,传统风冷和机柜难以应对;第三是复杂度墙,万级处理器带来的故障常态化极大增加了运维难度。
超节点作为一种Scale Up(纵向扩展)策略,通过内部高速互联,将分散的芯片整合为逻辑统一的一颗“超级大芯片”。这不仅缩短了训练周期,还通过高效率的供电和散热系统降低了部署运维难度。对于中国厂商而言,超节点也是一条务实的选择:既然单卡性能存在差距,就用更多芯片、更快互联和更高系统效率来弥补,这正是中国科技的优势所在。
尽管超节点前景诱人,但落地难度巨大。英伟达的Kyber NVL144机架架构因制造工艺问题推迟至2028年,算力租赁市场也出现波动。相反,中国厂商如浪潮信息、新华三等,正积极拥抱超节点以提升利润率。从卖组装赚辛苦钱,到卖机柜赚系统钱,ODM厂商的附加值显著提升。
超节点落地面临三大关卡:首先是互联协议的碎片化,英伟达的NVLink Fusion、AMD的UALink、博通的SUE以及国产的海光HSL协议各自为战,缺乏统一标准;其次是物理介质的路线分化,是用电还是用光?英伟达押注CPO(光电共封装),中国则规划从NPO过渡到CPO再到OIO;最后是供电和冷却系统的挑战,以及上游晶圆厂能否兑现产能承诺。革命尚未成功,中国厂商仍需努力。
