GPU传输必须访问CPU的系统存储器，这会导致端点之间发生存储器共享争用。  当GPU使用其共享的存储器映射资源而不是CPU存储器时，它可以在本地提取数据，无需先通过CPU传递数据。这消除了跳线和链路以及由此产生的延时，从而使GPU能够更高效地处理数据。

PCIe主层级是一个树形结构，其中的每个域都有一个根联合体，从该点可扩展到“叶子”，这些“叶子”通过交换网和桥接器到达端点。链路的严格层级和方向性给多主机、多交换网系统带来了成本高昂的设计要求。

要符合PCIe的层级，主机1必须在交换网1中有一个专用的下行端口，该端口连接到交换网2中的专用上行端口。它还需要在交换网2中有一个专用的下行端口，该端口连接到交换网3中的专用上行端口，依此类推。

非透明桥接（NTB）是这种问题的一个潜在解决方案，但由于每种类型的共享PCIe设备都需要非标准驱动程序和软件，因此这同样会使系统变得复杂。更好的方法是使用PCIe结构，这种结构允许标准PCIe拓扑容纳多个可访问每个端点的主机。

系统使用一个PCIe结构交换网（本例中为Microchip Switchtec® PAX系列的成员）在两个独立但可透明互操作的域中实现：即包含所有端点和结构链路的结构域以及每个主机专用的主机域（图3）。主机通过在嵌入式CPU上运行的PAX交换网固件保留在单独的虚拟域中，因此，交换网将始终显示为具有直连端点的标准单层PCIe设备，而与这些端点出现在结构中的位置无关。  

来自主机域的事务会在结构域中转换为ID和地址，结构域中通信的非分层路由也是如此。这样，系统中的所有主机便可共享连接交换网和端点的结构链路。交换网固件会拦截来自主机的所有配置平面通信（包括PCIe枚举过程），并使用数量可配置的下行端口虚拟化一个符合PCIe规范的简单交换网。

当所有控制平面通信都路由到交换网固件进行处理时，数据平面通信直接路由到端点。其他主机域中未使用的GPU不再滞留，因为它们可以根据每个主机的需求动态分配。结构内支持点对点通信，这使其能够适应机器学习应用。当以符合PCIe规范的方式向每个主机提供功能时，可以使用标准驱动程序。

个Nvidia M40 GPGPU和一个支持SR-IOV的Samsung NVMe SSD组成。在本实验中，主机运行代表实际机器学习工作负载的通信，包括Nvidia的CUDA点对点通信基准测试实用程序和训练cifar10图像分类的TensorFlow模型。

(素材来源：eccn和ttic.如涉版权请联系删除。特别感谢）