(资料图片仅供参考)

H100最新架构试算:8个节点(单服务器),NVLink下需要18对、36个osfp,也就是36个800G->一个POD集群需要36x32=1152个800G光模块。若需要InfiniBand网络,则是传统叶脊双层架构,需要800G或2x400G(NDR),数量关系与普通集群差异不大,依据不同规模可另外计算。

结论?在英伟达DGXH100SuperPOD最新的NVLinkSwitch架构算力架构下,GPU+NVLink+NVSwitch+NVLink交换机的架构需要大量800G通信连接方案,NVLink系统大致可对应GPU与800光模块1:4-1:5的数量关系,IBNDR网络则需要更多。

原因及逻辑?英伟达占训练推理环节GPU几乎90％以上份额,在DGXH100SuperPOD架构引入更高速NVLink方案,且用NVLink和InfiniBand的PCIe两套体系解决通信问题。尽管目前InfiniBandNDR网络是主流,但新的NVLinkSwitch的架构在H100硬件基础上,在某些AI场景下可以贡献比IB网络接近翻倍的性能。AI发展的基础是算力提升,预计极致性能和极致功耗是未来硬件架构发展的主要驱动,预计400G/800G以上速率的网络方案将加速放量。

在H100最新的NVLinkSwitch架构下试算,单服务器NVLink下需要18对、36个osfp,也就是36个800G;一个POD集群的32台服务器则需要36x32=1152个800G光模块。若不采用NVLinkSwitch架构或者需要多集群扩容,需要使用InfiniBandNDR网络,则采用传统叶脊双层架构,需要800G+2x400G(NDR)的方案,数量关系可参考普通集群,核心是系统内带宽激增,依据不同规模可另外计算。

有别于大众的认识?鉴于H100GPU的供货范围限制,市场对其实际的架构理解有一定信息差,我们借助英伟达技术文档试图拆解H100超算系统的通信架构;市场担心800G在AI算力环节并非刚需,但高速率光模块、CPO/LPO/MPO等技术本身预示了未来硬件架构发展的主要方向是追求极低功耗下的极高性能,且系统整体算力效率有木桶效应,网络环节较容易产生瓶颈,影响各类训练推理考虑,因此高速光网络的迭代是AI刚需。

风险提示?NVLinkSwitch方案渗透不达预期;技术迭代产生新的通信方案。