数据中心网络下一步：200GE还是400GE？
互联网连接了全球超过40亿用户并支持新兴的数字应用，例如虚拟现实、增强现实、16K视频、自动驾驶、人工智能、5G和物联网。此外，通过联结教育、医疗和办公领域的在线和离线服务，它对我们生活的各个方面都有影响。作为互联网服务开发基础架构的数据中心网络已从千兆以太网和万兆以太网进入“25GE接入+100GE互连”阶段。
100GE互连：大型互联网企业重视全固定设备架构
在“25GE接入+100GE互连”架构中，数据中心网络通过三层网络实现大规模访问，一个群集可以包含10万多个服务器。如下图所示，可以用和区块几乎相同的方式灵活地扩展T1和T2层的部署点，因此可以按需构建。
随着大容量转发芯片的改进和100GE光互连成本的降低，单芯片交换机被用于构建100GE互连网络。这种单芯片多平面互连解决方案通常具有12.8Tbit/s的芯片，提供128x100GE端口密度，单个部署点可以连接到2000台服务器。
与由固定设备和模块化设备组成的传统解决方案相比，全固定设备网络解决方案增加了设备之间的网络节点和光互连模块的数量，这也增加了运营和维护的工作量。但是，引入了高性能转发芯片以有效降低数据中心网络端口的每位成本，这显然对大型互联网企业具有吸引力。一方面，大型互联网企业可以快速引入100GE全固定设备架构，以降低网络建设成本。另一方面，他们可以利用其强大的研发功能来改进自动网络部署和维护功能，以应对不断增加的运营和维护工作量。所以，大型互联网企业经常使用相同的100GE网络解决方案，并且固定设备联网已成为100GE网络体系结构演进的基础。
数据中心网络演进路径
“25GE接入+100GE互连”解决方案促进了统一芯片的选择和快速增长，展示了技术红利如何推动互联网数据中心（IDC）网络体系结构的快速发展。随着单芯片网络产品的推出，现在可以提供100GE代间技术红利。鉴于这种持续快速的服务开发必然带来带宽升级，企业现在面临选择：200GE还是400GE？然而，网络从来都不是孤立的，行业的整体环境决定了技术是否可以发展和成熟。首先，让我们从网络标准、服务器和光模块的角度回顾一下200GE和400GE行业的现状。
200GE与400GE标准：协议和标准已经成熟
在电气和电子工程师协会（IEEE）标准的演变过程中，有关200GE标准的工作是在400GE标准之后开始的。在完成第一版带宽评估（BWA I）项目调查后，IEEE 802.3以太网工作组于2013年启动了一个制定400GE标准的项目。2015年，IEEE建立了802.3cd项目并开始制定200GE标准，以便进一步扩大了市场范围，包括50GE服务器和200GE交换机规格。
由于200GE标准是从400GE标准衍生而来的，因此802.3bs项目最终包含了200GE单模光模块规格。当时已经完成了400GE的物理编码子层（PCS），物理介质附件（PMA）和物理介质相关性（PMD）的主要设计。200GE单模光模块规格通常根据400GE的一半制定。
2017年12月6日，IEEE 802正式发布IEEE 802.3bs 400GE以太网标准，包括400GE以太网和200GE以太网单模光模块规格，随后于2018年12月正式发布IEEE 802.3cd 200GE以太网多模光模块标准。
如下表所示，400GE支持所有场景的标准，包括100m、500m、2km和长距离80km。
| 最大传输距离 | 标准 | 名称 | 电口速率 | 光口速率 |
|---|---|---|---|---|
| 100m |
IEEE 802.3cd IEEE 802.3cm |
200G SR4 400G SR8 400G SR4.2 |
4x 56GE 8x 56GE 8x 56GE |
4x 50GE 8x 50GE 8x 50GE |
| 500m | IEEE 802.3bs | 400G DR4 | 8x 56GE | 4x 110GE |
| 2km |
IEEE 802.3bs IEEE 802.3bs 100G Lambda MSA |
200G FR4 400G FR8 400G FR4 |
4x 56GE 8x 56GE 8x 56GE |
4x 50GE 8x 50GE 4x 100GE |
|
10km 6km |
IEEE 802.3bs 100G Lambda MSA |
400G LR8 400G LR4 |
8x 56GE 8x 56GE |
8x 50GE 4x 100GE |
| 80km | OIF | 400G ZR | 8x 56GE | DP-16QAM |
50GE与100GE服务器：100GE服务器将成为主流
根据Crehan的预测，自2019年以来，50GE和100GE网卡已经成功出货。在2018年和2019年，整个行业处于升级到下一代25GE网卡的紧要关头。 2019年，随着行业对100GE服务器变得充满信心，100GE服务器市场到2020年将超过50GE。
两家主流的CPU芯片供应商（英特尔和AMD）将于2020年第三季度推出PCIe 4.0芯片，这些芯片能够提供50Gbit/s的I/O，高端应用可达100Gbit/s和200Gbit/s。预计两家供应商都将在2021年上半年推出更多芯片，这些芯片的I/O将提高到100Gbit/s，高端应用可达400Gbit/s。
在芯片开发和服务器交付预测的背景下，100GE服务器将迅速成为主流。
200GE与400GE光模块：行业成熟的400GE可以提供更低的成本
随着数据中心接入层的服务器从25GE发展到100GE，当前的100GE互连网络应选择200GE还是400GE？
| 因素 | 10GE接入+40GE互连 | 25GE接入+100GE互连 |
|---|---|---|
| 带宽 | A | 2.5A |
| 成本 | C | C |
| 功耗 | B | B |
随着数据中心服务器从10GE升级到25GE，网络互连从40GE升级到100GE，带宽增加了一倍，但是互连成本和功耗保持不变，这意味着每Gbit/s互连的实际成本和功耗实际上降低了一半。因此，100GE正在取代40GE成为25GE时代的主流网络互连解决方案。
200GE和400GE光模块不同。传统的光学模块使用不归零（NRZ）信号传输技术，其中高电平和低电平信号用于表示数字逻辑信号0和1，并且可以在每个时钟周期中传输一位逻辑信息。200GE和400GE光模块均使用4阶脉冲幅度调制（PAM4），这是一种高阶调制技术，它使用四个信号电平进行传输，可以在每个时钟周期中发送两位逻辑信息00、01、10和11。
因此，在相同的波特率下，PAM4信号的比特率是NRZ信号的比特率的两倍，传输效率加倍，并降低了传输成本。从光模块组成的角度来看，200GE和400GE模块均采用4通道主流架构，并且模块设计成本和功耗相似。
| 光模块 | 200GE | 400GE |
|---|---|---|
| 调制方式 | PAM4 | PAM4 |
| 实现方式 | 4x 50GE | 4x 100GE |
| 成本 | C | C |
| 功耗 | B | B |
由于400GE模块的带宽是200GE模块的两倍，因此400GE模块的每Gbit/s平均技术成本和功耗是200GE模块的一半。
除了架构设计之外，模块成本还取决于部署规模。根据第三方咨询公司Omdia（以前的OVUM）的交付数据，全球排名前八位的供应商提供的200GE和400GE光模块的布局如下。
如上图所示，200GE模块分为100m SR4和2km FR4模块。在200GE模块中，只有100m SR4模块分为五类。排名前八位的供应商已部署了100m、500m和2km的模块。相比之下，400GE行业已经成熟得多，可以为客户提供多种选择。
该分析进一步证明，PAM4技术增加了技术成本和功耗。在既对成本又对功耗敏感的数据中心网络领域，该行业需要从200GE紧急过渡到效率更高、更具竞争力的400GE。
概括：400GE发展势头强劲，而200GE演进可能被放弃
数据中心网络围绕服务的交付而设计，考虑到这一点，快速发展的数字化建设将推动100GE服务器的快速增长，并使其成为2020年的主流选择。就成本而言，数据中心光学组件占网络设备总成本的一半以上。随着PAM4的推出，单个400GE光学组件的成本比200GE光学模块便宜。光模块部署成本的这种降低直接降低了总体网络建设成本。
总体而言，400GE的发展势头强劲，而200GE可能会成为临时过渡甚至完全跳过。
400GE联网模式：高密度400GE全框网络仍在传入
作为数据中心服务器的访问和互连设备，随着服务器I/O的增加，交换机提供了更大的容量，核心组件转发芯片的交换容量每一代都翻倍。但是，为了给连接到它们的许多服务器提供高带宽，将转发芯片容量加倍的挑战远远大于将网卡的容量加倍。
芯片的工作时钟频率会使性能降低20％，因此必须增加面积和功率以提高性能。随着转发芯片面积的增加，功耗也随之增加，最终导致功耗瓶颈。为了避免这种限制性瓶颈，需要更先进的半导体技术。
这里以典型的128端口100GE高密度固定交换机为例。该交换机使用12.8Tbit/s的芯片16nm工艺，芯片的功耗约为350W，则使用100GE光模块交换机的最大功耗为1998W，而128x200GE的25.6Tbit/s设备的最大功耗为3000W。因此，整个设备的功耗以及对芯片单点散热能力的要求不断提高，这对网络设备的工程设计提出了巨大的挑战。
如果400GE网络节点需要达到与100GE网络上128端口网络节点相同的性能，则转发芯片的性能必须达到51.2Tbit/s。如果未来的51.2Tbit/s芯片继续使用7nm工艺技术，则估计芯片功耗将达到1000W，对于基于当前散热工艺的固定设备而言，这是不现实的。所以，想要使用51.2Tbit/s转发芯片来构建高密度128端口400GE固定交换机，前提是升级到5nm或3nm芯片技术，该技术可将转发芯片的功耗降低到900W以下。如果使用5nm或3nm芯片工艺，到2023年可以大规模生产和交付。
400GE时代已经到来，新兴的400GE固定和模块化设备是最佳选择
高密度400GE交换芯片（51.2Tbit/s）的商业交付已被推迟，目前网络设备有三种选择。
- 高密度200GE固定设备，使用25.6Tbit/s芯片可提供128个200GE端口。
- 低密度400GE固定设备，使用25.6Tbit/s芯片可提供4个400GE端口。
- 高密度400GE模块化交换机，堆叠多个芯片以提供更高密度的400GE端口，并提供400GE模块化交换机以满足128x400GE（甚至更高）的端口密度要求。
高密度200GE固定设备：失去升级到400GE的机会
100GE服务器将很快成为主流，而400GE光互连被定位为最具成本效益的。但是，考虑到当前51.2Gbit/s（128x400GE）转发芯片的不成熟，已部署100GE全固定设备架构的企业不愿意考虑200GE。如果选择200GE，则可能会放弃直接向400GE演进。重复投资200GE的光互连成本占整个数据中心网络建设成本的一半以上，所以，200GE解决方案无法充分利用400GE技术带来的好处。
低密度400GE固定设备：服务器群集规模减少75％
如果使用64x400GE固定交换机进行网络连接，则T2设备的端口密度是100GE网络体系结构中128个端口的一半，而部署点中的访问服务器数量也是100GE网络体系结构中的一半。此外，T3层还使用64个400GE网络设备。结果，服务器数量减少了一半，整个服务器群集的规模减少到原始规模的25％。在数据中心网络的整个开发过程中，速率得到了提高，同时确保了现有服务器群集的大小。低端口密度的400GE网络设备将大大减小服务器群集的规模，这可能无法满足服务应用程序的要求。
高密度400GE模块化设备：网络演进证实的最佳选择
让我们回顾一下100GE网络演进的历史。在早期阶段，云计算服务和计算资源虚拟化技术的发展促进了100GE行业标准的成熟。25GE接入服务器逐渐得到广泛应用，而100GE光互连的快速增长进一步降低了成本。
一旦行业成熟并且100GE网络时代到来，高性能100GE转发芯片就会滞后，在100GE网络建设的初始阶段（下图的阶段1）就无法获得。业界最初使用多芯片解决方案来构建高密度100GE模块化交换机，这可以确保网络规模达到预期，同时最大程度地提高100GE网络的技术红利。随着芯片性能的提升以及6.4Tbit/s和12.8Tbit/s芯片的推出，网络从100GE模块化交换机平稳过渡到100GE固定交换机（下图中的阶段2和3）。
400GE网络将以类似的方式发展，尽管目前尚无法提供51.2Tbit/s的芯片功能，但多芯片400GE模块化交换机是更好的选择。可以部署高密度400GE模块化设备来维护甚至扩展网络规模并降低单位成本。行业内的主流供应商已经发布了400GE模块化设备，这将促进400GE网络的商业使用。随着未来51.2Tbit/s交换芯片的推出，具有固定和模块化设备的400GE体系结构可以平滑地发展为全固定设备体系结构，因为它最终成为400GE时代数据中心网络的主流体系结构。
