DGX A100/H800整机为什么需要配8块200Gbps的HDR网卡？

        目的就是为了降低时延，增加带宽。

        HDR网卡带宽为200Gb/s，DGX-A100服务器NVLink 传输带宽为4800 Gbps, DGX-A100服务器内GPU卡之间可以通过NVLink相连的GPU之间的超高带宽通信。

        但在多台DGX-A100算力集群设计时，当在跨越 DGX 服务器整机通信时，GPU和GPU之间通信需要依赖于外部的高性能网络（IB网络）来提供足够大的带宽来保障性能的需求，目前主流的网络接口就是HDR的InfiniBand网络，但是200Gb/s的HDR带宽仍然达不到4800 Gbps的带宽速度，导致性能大打折扣，所以多卡集合的解决方案成为了目前较为主流的方向。

        DGX-A100服务器配备8张HDR InfiniBand网卡，可以提供1600Gb/s的带宽，配备8张NDR InfiniBand网卡，可以提供3200Gb/s的带宽，较大的缩小了性能瓶颈，避免了投资的浪费。