AI 网络这块，咱有必要好好捋捋 IB 和 RoCE 的区别。现在 AI 大模型都到万亿参数的规模了，算力集群也从几千张卡变成了上万甚至十万张卡，数据怎么传就成了制约训练效率的大问题。RDMA 技术就是通过绕开 CPU、直接访问内存，给智算中心搞出超低延迟、高带宽的数据传输的。目前做 RDMA 的主流路数就两条：InfiniBand（IB）和 RoCE（RDMA over Converged Ethernet）。这俩虽然都叫 RDMA，但在架构设计、性能表现还有用在哪里，差得可多了。先说 InfiniBand，它是专门为高性能计算设计的原生 RDMA 网络，有自己的协议栈和专门的交换芯片。从最底层到上面的传输层都是为了不让数据丢包而存在的，通过硬件级的信用流控机制，把数据传输变得特别稳定。这玩意有个特别的地方就是用的是专用硬件，就是 InfiniBand 交换机和 HCA 主机通道适配器，跟以太网那一套不太一样。信用流控是基于信用的链路层流控，直接从源头就把缓冲区溢出给挡住了，真的做到了一点都不丢包。管理也很集中，由子网管理器统一配置路由和转发，整个网络状态都能看个清楚。延迟还特别低，交换机直接给转发过去，延迟只有 100 纳秒级别，端到端算下来也就 1 到 2 微秒。好处是带宽特别大，400G 甚至 800G 的 NDR 带宽，能撑起十万节点那么大的集群。训练任务不用担心丢包，配置起来也简单，开箱就能用。但缺点也很明显，专用设备和线缆价格比以太网贵太多。供应商基本被 NVIDIA 和 Mellanox 给垄断了，国内的供应链还比较缺。RoCE 呢，它是想在标准的以太网上实现 RDMA 的功能，v2 版本是基于 UDP/IP 封装的，这样就能跨网段通信了。它靠 PFC、ECN、DCQCN 这些机制在传统的有损以太网上造一个无损的环境出来。关键特性是兼容以太网现有设备和网卡，省了不少钱。无损补丁主要靠那几个技术防丢包，但是需要运维人员特别小心地去调参数。支持跨子网通信适配数据中心的架构。优点是用标准设备便宜灵活，适合混合负载的云环境，供应商也比较多元化。坏处是配置复杂容易出故障，延迟比 IB 稍高一点，在超大集群里扩展性能也不如 IB。国产方面有个好消息是 IB 这块最近有了突破。以前国内厂商主要都在搞 RoCE 的优化想拉平差距，可 RoCE 毕竟是以太网改出来的有点先天不足。真要想突破天花板还得从底层架构重构才行。最近听说中国科技巨头正在搞基于 InfiniBand 的专有 RDMA 技术直接挑战英伟达了。国产原生 IB 的成功说明咱们现在有了从芯片到系统的完整无损网络能力打破了海外的垄断。有专家说现在卖高端 GPU 给中国越来越难了这时候国产互连技术的崛起刚好给咱们自主 AI 算力底座铺好了路。