7月18日，在2026世界人工智能大会上，云天励飞（688343.SH）正式披露了其未来两年多的AI推理芯片战略。与以往的单芯片发布模式不同，此次云天励飞推出了三款专用芯片及其配套的集群级协同方案。该方案旨在通过推理负载的解耦与资源的精细配置，在提升Token生成效率的同时，持续降低单位Token的生成成本。
三款芯片分工明确，共同服务于万卡集群的高效协同。大模型推理过程包含不同阶段，其计算特征存在显著差异。Prefill阶段需要集中处理输入上下文，对算力要求较高；而Decode阶段采用逐Token生成方式，对内存带宽和数据访问效率更为敏感。随着MoE等模型架构的发展，Decode内部的Attention与FFN环节也呈现出不同的资源需求。
DeepVerse100P专为百万级上下文Prefill场景设计。在传统架构中，长上下文Prefill与Decode往往混部共享算力与带宽，易引发资源竞争，进而拖累Decode的生成吞吐。DeepVerse100P通过独立处理Prefill负载，有效降低了两类任务间的资源干扰。
DeepVerse100D则专注于Decode环节，具备数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构。该方案通过按需建立光路直连并根据任务动态重构光路，减少了传统多跳电交换和静态组网中的排队、拥塞及中间转发开销，从而降低了多节点通信阻塞和尾延迟。
DeepVerse100L面向Decode阶段中计算密集型的FFN环节，采用3D Memory架构，相比主流HBM大幅提升了内存带宽。同时，配合低延迟芯片互联和激活数据快速传输技术，显著提高了计算与通信的并行效率。
在万卡异构集群中，这三款芯片将根据不同推理阶段的负载特征进行分离式部署与协同运行。通过为各环节配置专属芯片和资源池，并利用高速互联形成异构算力系统，云天励飞致力于降低不同负载间的资源干扰，进而提升集群资源利用率和整体推理效率。
随着硬件异构程度和集群规模的提升，模型适配、算子优化、编译部署及系统调度也面临更高要求。为此，云天励飞持续构建IFWA软件栈，覆盖AI模型开发、编程及系统等全层级。
在兼容性方面，IFWA针对Transformer主流架构完善了PyTorch ATen算子的适配与性能优化，并加强对vLLM、SGLang等主流推理框架的支持。此外，公司开源了Houmao多Agent异构编程框架，并将成熟的Triton算子能力融入FlagOS，以提升模型和算子的适配效率。
从三款专用芯片到万卡异构集群，再到IFWA软件栈，云天励飞此次公布的路线图并非单一芯片的性能升级，而是围绕Token生成全过程展开的系统级优化。面向“百亿Token一分钱”的长期目标，公司希望通过芯片、互联、软件和系统的协同，构建服务于大规模Token生成的“推理工厂”，持续提高集群资源利用率和算力产出效率。