鼓狮财经11月6日报道，英伟达于5日发文指出，随着人工智能模型规模的扩张、上下文窗口的不断延长以及智能体应用的普及，GPU内存正承受着持续攀升的压力，导致高带宽内存（HBM）供应日益紧张，价格也随之上涨。针对这一趋势，英伟达提出了一种新的解决思路：通过GPU、CPU、网络、存储及软件的协同设计来提升内存使用效率，而非单纯依赖增加GPU内存容量。
具体而言，英伟达采用NVFP4低精度格式对模型权重和KV Cache进行压缩，并将暂不活跃的上下文数据迁移至成本更低的存储层。同时，借助多GPU分布式部署技术，有效释放了HBM空间。据英伟达披露，在SemiAnalysis进行的AgentX测试中，GB300 NVL72在特定工作负载下的单位成本推理吞吐量达到了H200平台的10倍。而新一代Vera Rubin NVL72相比GB300 NVL72，其单位成本推理吞吐量更是最高提升了30倍，尽管其单GPU的HBM容量仅增加了约3%。