NVIDIA英伟达 800G InfiniBand和以太网连接人工智能布线指南（四）

2.4.2 B级-叶节点到

脊节点的布线

叶节点交换机和主干交换机之间的连接建议采用结构化布线方式。然而，在某些设计中，也可以使用点对点布线进行连接。需要注意的是，这些连接可以延长高达500米(基于800G-2xDR4, MMS4X00-NM收发器)，这可能会给点对点配置的布线管理带来重大挑战。

正如架构部分开头所提到的，我们使用32可扩展单元集群或POD作为示例。参考图14所示的逻辑图和图7所示的组件数，我们可以观察到该设计共包含256个脊节点交换机，它们分布在16个脊节点机架上，说明每个机架包含16台脊节点交换机。

图14. 在32个可扩展单元的DGX H100

SuperPOD中，轨道8（黑色轨道）的逻辑图

尽管这不是推荐的选择，我们还是先通过使用束状跳线进行点对点连接的布线示例来简化端口映射的说明。图15左侧显示了我们其中一个可扩展单元的叶节点交换机机架，其中每个交换机都标注了其对应的轨道颜色。右侧显示的是一个脊节点交换机机架（16个机架之一），包含16个脊节点交换机，每种轨道颜色对应两个脊节点交换机。

在这个示例中，我们以黑色轨道（轨道8）为参考。如果我们考虑从叶节点机架1中的叶节点交换机08（这是可扩展单元1中的叶节点机架）连接，并使用叶节点交换机的端口33和34（如图9中的端口映射所示），我们可以将它们路由到脊节点机架1，连接到脊节点15的端口1和脊节点16的端口1。由于同一轨道上的每个叶节点交换机都需要连接到同一轨道上的每个脊节点交换机（每个脊节点机架上有两个），所以来自不同可扩展单元的不同叶节点交换机的端口33和34也会连接到脊节点机架1，分别连接到脊节点交换机16的端口2和脊节点交换机15的端口2，依此类推。目标是建立所有可扩展单元中的叶节点交换机与所有脊节点机架中的两个脊节点交换机之间的连接，如图15所示。以轨道8为参考，这将需要从可扩展单元1中的叶节点交换机08使用16根束状跳线连接到16个不同的脊节点机架，从而连接到总共32个轨道8（黑色轨道）的脊节点交换机，如图14所示。

图15. B级 - 叶节点到脊节点布线，使用束状跳线的点对点连接，基于32可扩展单元集群/POD的示例

在理解了如何通过使用束状跳线进行点对点连接来实现叶节点到脊节点交换机的映射后，我们可以将相同的逻辑应用到结构化布线选项中。

在图16左侧，我们可以看到我们其中一个可扩展单元的叶节点交换机机架，其中每个交换机都标注了其对应的轨道颜色。右侧显示的是脊节点机架1（16个机架之一），包含16个脊节点交换机，每种轨道颜色对应两个脊节点交换机。

图16. B级 - 叶节点到脊节点布线，

使用束状跳线的结构化布线，

基于32可扩展单元集群/POD的示例

仍然以黑色轨道（轨道8）为参考，如果我们从叶节点机架1中的叶节点-08交换机获取连接，并使用叶节点交换机的端口33和34（如之前所做），我们可以使用遵循相同映射的束状跳线进行路由。然而，将会添加结构化布线组件，如适配器面板和机箱，如图2所示。

目标是使用高芯数干线作为主干光缆，在不同区域之间进行高芯数的连接。我们将使用适配器面板将我们的连接从叶节点到脊节点进行映射。

在图16的示例中，我们可以看到来自叶节点-08的33和34端口的束状连接跳线进入位置A的适配器面板1号托盘。其中前两个适配器端口分配给黑色轨道。多个适配器面板随后使用主干布线将所有这些连接路由到数据中心另一部分的不同机箱，遵循相同的映射。最后，我们使用束状跳线完成到脊节点15的端口1和脊节点16的端口1的连接，结果与点对点布线相同。

如果我们遵循这种映射类型，可能会有一些位置（例如我们的配线面板中的位置E和F）保持未使用。然而，在行业中，即使这些备用适配器和连接在我们的映射示例中未必使用，利用备用位置仍然是一种常见做法。这些备用位置可以用来管理客户可能需要的备用连接，从而提供灵活性并满足其特定要求。

实施这种结构化布线的主要优点是最大化预留空间并减少安装时间。它还允许轻松进行移动、增加和更改（MAC），尤其是在叶节点交换机和脊节点交换机位于不同区域时。此外，它提供了未来扩展的灵活性，这是点对点布线无法支持的。

2.4.3 C级-脊节点到核心的布线

脊节点到核心交换机的布线可以通过点对点连接来实现。在一些特定的定制设计中，也可以在脊节点到核心连接级别实施结构化布线，这将取决于核心交换机相对于脊节点的物理位置。另外一个选项是使用直连铜缆（DAC）。

以32可扩展单元集群或POD为例，该设计包含总共128个核心交换机，分布在8个核心机架中，每个机架包含16个核心交换机。以图14中的逻辑图为参考，为了举例说明，核心机架被放置在两个脊节点机架之间。

为了简化端口映射说明，我们使用束状跳线进行点对点连接。在图17中，左侧显示的是脊节点机架1，右侧显示的是脊节点机架2。正如我们所知，这些机架各自有16个脊节点交换机，每种轨道颜色对应两个交换机。在中间，我们有一个核心机架，包含16个核心交换机。每个核心交换机将聚合来自各种脊节点交换机的不同轨道。

以本示例为目的，并基于图9中描述的端口映射，我们假设脊节点机架2在物理上“镜像”脊节点机架1。这意味着连接到脊节点机架2中的叶节点交换机的端口是33到64，而不是1到32，连接到核心交换机的端口是1到32，而不是33到64。通过将核心交换机机架置于中间，我们可以通过束状跳线进行直接路由。

首先，关注来自脊节点机架1的连接。脊节点机架1中的所有脊节点交换机的端口33和34将被路由到核心交换机01的端口1到32；所有脊节点交换机的端口35和36将被路由到核心交换机02的端口1到 32，依此类推，直到脊节点交换机的端口63和64被路由到核心交换机16的端口1到32。

接下来，我们需要处理来自脊节点机架2的连接。所有脊节点交换机的端口1和2将被路由到核心交换机 01的端口33到64；所有脊节点交换机的端口3和4将被路由到核心交换机02的端口33到64，依此类推，直到脊节点交换机的端口31和32被路由到核心交换机16的端口33到64。

图17. C级 - 脊节点到核心布线，

使用束状跳线的点对点连接，

基于32可扩展单元集群/POD的示例

在图18中，我们可以更详细地查看如何使用束状跳线进行布线。这显示了脊节点机架1，其中所有脊节点交换机的端口33和34被路由到核心交换机Core-01的端口1到32。可以使用垂直线缆管理器（在图18中仅作为示例呈现为机架）来方便地进行从脊节点到核心的束状跳线路由。

图18. C级 - 所有脊节点交换机的端口33和34路由到核心交换机Core-01的端口1至32，基于32可扩展单元集群/POD的示例

2.5 多模 vs 单模

在网络中使用多模光纤还是单模光纤的决策将取决于具体的设计考虑。多模光纤的传输距离最多为50米，通常限制其应用于可扩展单元或脊节点到核心的连接。然而，这种情况并不总是实用，因为可扩展单元的设计可能不会遵循中间行布局，或者物理位置不相邻。同样，脊节点交换机和核心交换机在物理距离上可能也不接近，这使得整个设计中更倾向于使用单模光纤。