与NVIDIA一起学习机器学习框架

导读 了解机器学习框架继上一章旨在教您更多有关机器学习框架的知识之后，NVIDIA 今天发布了第 2 章，提供了学习过程中的净步骤，涵盖了您需

了解机器学习框架继上一章旨在教您更多有关机器学习框架的知识之后，NVIDIA 今天发布了第 2 章，提供了学习过程中的净步骤，涵盖了您需要了解的有关数据加载和数据传输瓶颈以及高效框架互操作性的其他方面的知识. 在第一章中， NVIDIA 讨论了不同内存布局以及用于异步内存分配以实现零复制功能的内存池的优缺点。在第二章中，NVIDIA 讨论了数据加载和传输过程中可能出现的瓶颈，以及如何使用远程直接内存访问 (RDMA) 技术来缓解这些瓶颈。

“高效的管道设计对数据科学家来说至关重要。在构建复杂的端到端工作流时，您可以从各种构建块中进行选择，每个构建块都专门用于特定任务。不幸的是，在数据格式之间重复转换是一种容易出错且会降低性能的工作。让我们改变它!”

“到目前为止，我们一直假设数据已经加载到内存中并且使用了单个 GPU。本节重点介绍了在将数据集从存储加载到设备内存或使用单节点或多节点设置在两个 GPU 之间传输数据时可能出现的一些瓶颈。然后我们讨论如何克服它们。

在传统的工作流程中(图 1)，当数据集从存储加载到 GPU 内存时，数据将使用 CPU 和 PCIe 总线从磁盘复制到 GPU 内存。加载数据需要至少两份数据副本。第一个发生在将数据从存储传输到主机内存(CPU RAM)时。当将数据从主机内存传输到设备内存 (GPU VRAM) 时，会发生数据的第二个副本。”