研究Meta Engineering·原文 2026年10月13日

Meta在OCP 2026发布IcePack液冷网络机架与102.4T交换机等开放网络方案

Meta在2026年OCP全球峰会上公布首款液冷网络机架IcePack、102.4T交换机IceCube、多平面后端架构FPF、以太网Scale-Up交换机Tahan,并与微软、阿里联合发起OSPA交换平台标准化倡议。

AI解读:Meta公布的内容以公司自述的架构设计和规划为主,IcePack、IceCube等产品的实际部署规模和第三方验证结果未在来源中给出。

IceCube提供基于博通Tomahawk6C和英伟达Spectrum-6两种ASIC变体,均运行Meta自研FBOSS网络操作系统,这一双供应商策略表明Meta希望在交换芯片层面避免单一依赖,但两种变体的性能对比数据未公布。

FPF将传统三层Clos架构压缩为两层,每块GPU通过8条独立100G链路连接8台不同交换机,负载均衡改由网卡硬件完成。这一设计在理论上减少网络跳数和延迟,但Meta未给出与旧架构的实测延迟或成本对比数字。

BAG作为跨区域超级骨干层,区域间容量达每秒数十拍比特(tens of petabits per second),用于将散布在建筑、园区和区域的算力整合为单一集群。Meta同时指出,随着链路延伸至数十公里,无损以太网的缓冲需求成为首要问题,公司通过FBOSS实测线缆长度来分配缓冲。

Tahan是Meta首款基于以太网的Scale-Up交换机,采用51.2Tbps博通Tomahawk 5 ASIC,4台Tahan以非阻塞拓扑互联16块加速器,并复用了与Scale-Out网络相同的无损RoCE传输。下一代方案计划在102.4T硅上实现每机架72块加速器并采用OCP ESUN作为数据平面。

OSPA由Meta、微软和阿里联合主导,规范交换平台层的电源管理、传感器控制、硬件清单、带外接口、固件更新和故障诊断等接口,v1.0规范已提交OCP。Meta称该层此前proprietary且碎片化,每次新硬件平台上线需数月重复工程。

Meta在2026年Open Compute Project(OCP)全球峰会上公布了其下一代开放网络基础设施,涵盖液冷网络机架、102.4T交换机、多平面后端网络架构、以太网Scale-Up交换机、跨区域骨干网络以及开源传输协议等多项内容。这些方案由Meta工程团队在OCP 2026上分享,目标是支持吉瓦级AI集群的构建。

IcePack液冷机架与IceCube 102.4T交换机

Meta推出其首款液冷网络机架IcePack,基于OCP的ORV3-HPRv1机架标准。机架内装载IceCube交换机刀片,每块提供102.4Tbps交换容量和128×800G非阻塞交换能力。

IceCube有两个版本,分别基于博通的Tomahawk6C交换ASIC和英伟达的Spectrum-6交换ASIC。两个版本均运行Meta开源的FBOSS网络操作系统,并利用OCP的SAI(交换机抽象接口)。Meta称这一代产品相比其51.2T平台带宽翻倍,同时达到下一代AI数据中心所需的热密度。

  • IcePack:Meta首款液冷网络机架,基于OCP ORV3-HPRv1标准
  • IceCube:102.4Tbps液冷交换机刀片,128×800G非阻塞容量,运行FBOSS
  • 两个IceCube变体:博通Tomahawk6C和英伟达Spectrum-6 ASIC

Flattened Planar Fabric(FPF)多平面后端架构

Meta介绍了Flattened Planar Fabric(FPF),一种多平面后端Scale-Out网络架构。在FPF中,每块GPU通过8条独立的100G链路连接到8台不同的交换机,每台交换机对应一个网络平面。这一多平面方式取代了传统的单平面上行链路架构。

Meta称FPF带来四项优势:相比单平面拓扑能支持更大的非阻塞GPU集群;从NSF网络的三层Clos结构简化为两层Clos,减少网络跳数和延迟;负载均衡从网络交换机转移到网卡,由网卡硬件将每个数据包喷洒到全部8个平面;控制平面同时涵盖交换机和主机,使主机能将流量从故障平面绕开。

Meta表示与英伟达在FPF开发上密切合作,利用了英伟达Spectrum-X Multiplane的创新,以确保FPF在各种故障条件下和运营生命周期场景中保持高性能。Meta还称正与联合云合作伙伴基于FPF的经验推动多平面网络架构的标准化。

  • 每GPU通过8条100G链路连接8台不同交换机,每个平面一台
  • 从三层Clos简化为两层Clos,减少跳数和延迟
  • 负载均衡由网卡硬件完成,数据包喷洒到全部8个平面
  • 控制平面包含交换机和主机,主机可绕开故障平面

跨区域BAG骨干与SRv6区域骨干

Meta的后端聚合层(BAG)是一个集中式、基于以太网的超级骨干(super-spine),将多个spine层网络互联为一个跨建筑、园区和区域的超级集群。BAG运行在拍比特级规模,两个区域之间的BAG间容量达到每秒数十拍比特。

Meta称BAG使Prometheus能够作为单一集群运行,尽管其容量分布在传统数据中心建筑、防风雨户外结构和邻近的托管空间中。Meta承诺本十年达到的AI容量规模,Prometheus在2026年约1吉瓦,Hyperion向5吉瓦扩展,意味着单一集群已超出任何单一区域。

在跨区域距离上,Meta指出无损以太网需要与线缆长度成比例的缓冲余量,一旦链路延伸至数十公里,缓冲管理成为首要问题。FBOSS现在通过在不拥塞队列上计时探测流量来实测线缆往返距离,并据此分配缓冲余量。BAG使用eBGP链路带宽信令按各路径实际可用容量分配流量,并有意加入阻尼,避免单一链路故障引发路由震荡。

Meta还部署了基于FBOSS的SRv6区域骨干网络,运行在Cisco SiliconOne驱动的开放浅缓冲交换机平台上,并正在接入更多硅家族,全部通过OCP SAI在FBOSS下管理。

  • BAG:集中式以太网超级骨干,区域间容量达每秒数十拍比特
  • Meta承诺Prometheus约1吉瓦(2026年),Hyperion向5吉瓦扩展
  • FBOSS通过探测流量实测线缆距离来分配无损以太网缓冲
  • BAG使用eBGP链路带宽信令按实际容量分配流量
  • SRv6区域骨干基于FBOSS运行,使用Cisco SiliconOne硅平台

Tahan以太网Scale-Up交换机与下一代72加速器机架

Meta推出Tahan,其首款基于以太网的Scale-Up交换机,专为MTIA 300训练加速器设计。Tahan基于博通51.2Tbps Tomahawk 5 ASIC,提供64×800G总容量,其中一半通过背板为加速器提供Scale-Up连接。4台Tahan以非阻塞拓扑互联16块加速器。

Meta称Tahan复用了与Scale-Out网络相同的无损RoCE传输(路由IPv6、PFC、AI调优QoS),将Scale-Up和Scale-Out网络统一在FBOSS之下。

Meta还预览了下一代Scale-Up刀片,一款基于102.4Tbps博通Tomahawk6C硅的216×400G交换机。8台这样的交换机互联每机架72块加速器。未来的这一代Scale-Up刀片计划采用OCP的Ethernet for Scale-Up Networking(ESUN)作为Scale-Up数据平面。

  • Tahan:基于51.2Tbps Tomahawk 5的以太网Scale-Up交换机,64×800G
  • 4台Tahan非阻塞互联16块加速器,复用无损RoCE传输
  • 下一代:216×400G基于102.4T Tomahawk6C,8台互联72块加速器/机架
  • 下一代计划采用OCP ESUN作为Scale-Up数据平面

ESUN进展与OSPA交换平台标准化

Meta去年在OCP内创立的ESUN倡议已取得进展。Meta称与AMD、Arista、ARM、博通、Cisco、HPE、Marvell、微软和英伟达合作,ESUN正在推进面向Scale-Up拓扑优化的协议头和帧格式、无损多跳网络的错误处理机制,以及与UEC和IEEE标准的一致性。

ESUN 1.0网络运营商需求基础规范已于今年早些时候发布。Meta称ESUN 1.0有意聚焦于网络层面,定义网络必须提供的功能,同时为GPU和加速器厂商保留实现灵活性。该组织目前接近完成ESUN 1.1,将处理交换机配置文件和包间隙缩减等新特性。

Meta与微软和阿里联合发起OCP新倡议OSPA(Open Switch Platform Architecture),为交换平台层提供统一参考设计。OSPA标准化的接口包括电源管理和电源时序、传感器和环境控制(含散热和风扇管理)、硬件清单管理和设备枚举、带外硬件接口(管理以太网、串口、USB、LED)、固件维护和更新、平台故障诊断。Meta称v1.0规范已提交OCP。

  • ESUN 1.0网络运营商需求基础规范已发布,聚焦网络层
  • ESUN 1.1接近完成,将处理交换机配置文件和包间隙缩减
  • OSPA由Meta、微软、阿里联合主导,v1.0规范已提交OCP
  • OSPA标准化电源、传感器、硬件清单、带外接口、固件和诊断接口

MetaRoCE开源实现与FBOSS生态扩展

Meta宣布开源MetaRoCE实现,这是其专为AI集群以太网网络优化的RDMA传输协议。Meta称MetaRoCE提供了分布式AI训练工作负载所需的拥塞控制和可靠性语义,专为大规模以太网网络上集合通信的流量模式设计。

在FBOSS生态方面,Meta称过去一年推动扩展开源FBOSS,使交换机厂商能够自行上线其平台,无需Meta工程师参与。目标是实现自助模式,使多个新交换机平台可同时开发。厂商和开发者可通过FBOSS文档站和GitHub仓库开始使用。

  • MetaRoCE:开源RDMA传输协议实现,面向AI集群以太网网络
  • FBOSS:目标为厂商自助上线,多平台可并行开发

信息来源

Meta Engineering原始来源

更多

新闻专题
外观