学网站设计,php是做网站的吗,暴雪被收购,投资者网站建设动动发财的小手#xff0c;点个赞吧#xff01; 本文[1]提供了有关如何构建用于深度学习的多 GPU 系统的指南#xff0c;并希望为您节省一些研究时间和实验时间。 1. GPU 让我们从有趣#xff08;且昂贵#xff09;的部分开始#xff01; 购买 GPU 时的主要考虑因素是点个赞吧 本文[1]提供了有关如何构建用于深度学习的多 GPU 系统的指南并希望为您节省一些研究时间和实验时间。 1. GPU 让我们从有趣且昂贵的部分开始 购买 GPU 时的主要考虑因素是 内存显存 性能张量核心、时钟速度 槽宽 功耗热设计功耗 内存 对于当今的深度学习任务我们需要大量的内存。大语言模型甚至需要进行微调而且计算机视觉任务可能会占用大量内存尤其是在使用 3D 网络时。当然最重要的方面是 GPU 内存。对于大语言模型我建议至少 24 GB 内存对于计算机视觉任务我不会低于 12 GB。 性能 第二个标准是性能可以用 FLOPS每秒浮点运算次数来估计 过去最关键的数字是电路中CUDA核心的数量。然而随着深度学习的出现NVIDIA 推出了专门的张量核心可以在每个时钟执行更多的 FMA融合乘加运算。这些已经得到了主要深度学习框架的支持并且是您在 2023 年应该寻找的。 下面是我经过大量手动工作后编译的按内存分组的 GPU 原始性能图表 请注意在比较不同 GPU 的性能时必须格外小心。不同代/架构的张量核心不具有可比性。例如A100 每个时钟执行 256 次 FP16 FMA 操作而 V100“仅”64 次。此外较旧的架构Turing、Volta不支持 32 位张量操作。 使比较变得更加困难的是NVIDIA并不总是报告FMA甚至在白皮书中也没有并且相同架构的GPU可以有不同的FMA。另请注意NVIDIA 经常宣传具有稀疏性的张量 FLOPS这是一个仅在推理时可用的功能。 为了确定价格方面最好的 GPU我使用 eBay API 收集了 eBay 价格并计算了新卡每美元 (USD) 的相对性能 要选择最适合您预算的 GPU您可以选择一款具有您能承受的最大内存的顶级 GPU。我的建议是 槽宽 在构建多 GPU 系统时我们需要规划如何将 GPU 物理安装到 PC 机箱中。随着 GPU 变得越来越大尤其是游戏系列这变得更加成为一个问题。消费类主板拥有多达 7 个 PCIe 插槽PC 机箱也是围绕此设置构建的。根据制造商的不同4090 很容易占用 4 个插槽因此您可以明白为什么这会成为一个问题。此外我们应该在非鼓风机式或水冷式的 GPU 之间至少留出 1 个插槽以避免过热。我们有以下选择 水冷 水冷型号最多需要 2 个插槽但价格更昂贵。您也可以转换风冷 GPU但这将使保修失效。如果您没有获得一体化 (AIO) 解决方案您将需要构建自定义水冷回路。如果您想安装多个水冷 GPU情况也是如此因为 AIO 散热器可能不适合机箱。构建自己的循环是有风险的我个人不会使用昂贵的卡来这样做。我只会直接从制造商那里购买 AIO 解决方案规避风险。 风冷 2–3 插槽卡和 PCIe 转接卡 在此场景中您将 PCIe 插槽上的卡与通过 PCIe 转接电缆连接的卡交错放置。 PCIe 转接卡可以放置在 PC 机箱内部或露天的某个位置。无论哪种情况您都应该确保 GPU 受到保护另请参阅有关 PC 机箱的部分。 电源 现代 GPU 变得越来越耗电。例如A 4090 需要 450 W而 H100 最高可达 700 W。除了电费外安装三个或更多 GPU 也成为一个问题。 如果您接近可以从 PSU/电源插座获取的最大功率则此问题的解决方案是功率限制。降低 GPU 最大消耗功率所需要做的就是 sudo nvidia-smi -i GPU_index -pl power_limitwhere:GPU_index: the index (number) of the card as it shown with nvidia-smipower_limit: the power in W you want to use 事实证明功率限制 10-20% 可使性能降低不到 5%并使卡保持较低温度Puget Systems 进行的实验。例如将四个 3090 的功率限制 20%会将其功耗降低至 1120w并且可以轻松安装在 1600w PSU/1800w 插座中假设其余组件为 400w。 2. 主板和CPU 构建的下一步是选择支持多个 GPU 的主板。这里主要考虑的是 PCIe 通道。我们至少需要每张卡具有 x8 通道的 PCIe 3.0 插槽请参阅 Tim Dettmers 的帖子。 PCIe 4.0 或 5.0 较少见大多数深度学习用例都不需要。 除了插槽类型之外插槽的间距也将决定 GPU 的放置位置。确保您已经检查了间距并且您的 GPU 确实可以到达您想要的位置。请注意当您使用多个 GPU 时大多数主板会对某些 x16 插槽使用 x8 配置。 无需花费大量时间进行研究并且让您的系统面向未来的最简单方法是选择到处都有 x16 插槽的主板。您可以使用 PCPartPicker 并筛选具有 7 个以上 PCIe x16 插槽的主板。这为我们提供了 21 种产品可供选择。然后我们通过选择我们想要的最小 RAM 量例如 128 GB和 DDR4 / DDR5 类型来减少列表将其减少到 10 个产品 上述列表中支持的 CPU 插槽为 LGA2011–3 和 LGA2066。然后我们进行 CPU 选择并选择具有所需核心数量的 CPU。这些主要用于数据加载和批量准备。目标是每个 GPU 至少有 2 个核心/4 个线程。对于 CPU我们还应该检查它支持的 PCIe 通道。过去十年的任何 CPU 都应该支持至少 40 个通道在 x8 通道上覆盖 4 个 GPU但安全总比后悔好。通过过滤例如具有上述插槽的 16 个以上核心我们得到以下 CPU Intel Xeon E5 (LGA2011–3) Intel Core i9 (LGA2066) 然后我们根据核心数量、可用性和价格选择我们最喜欢的主板和 CPU 组合。 LGA2011–3 和 LGA2066 插槽都很旧分别是 2014 年和 2017 年。华擎 X99 WS-E 主板和 18 核 Intel Xeon E5–2697 V4 在二手状态下的成本不到 300 美元。不要购买更便宜的 ES 或 QS 版本的 CPU因为这些是工程样本可能会失败。 如果您想购买更强大的和/或更新的和/或 AMD CPU您可以查看带有例如4 个以上 PCIe x16 插槽但请确保检查插槽间距。 3. 内存 这里最重要的方面是 RAM 的数量。 RAM 用于深度学习周期的不同地方从磁盘加载数据以进行批量创建、加载模型当然还有原型设计。所需的数量在很大程度上取决于您的应用程序例如3D 图像数据将需要更多的额外 RAM但您的目标应该是 GPU 的 VRAM 总量的 1 倍到 2 倍。类型至少应该是 DDR4但 RAM 不是很重要所以不要把钱花在那里️。 购买 RAM 时您应该确保外形尺寸、类型、模块数量和每个模块的内存都符合您的主板规格。 4. 硬盘 另一个可以保存的组件是磁盘。同样磁盘空间量很重要并且取决于应用程序。您不一定需要超快磁盘或 NVME因为它们不会影响您的深度学习性能。无论如何数据都会加载到 RAM 中为了不造成瓶颈您可以简单地使用更多并行 CPU 工作线程。 5. 电源 正如我们所见GPU 是耗电组件。在设置多 GPU 系统时PSU 的选择成为一个重要的考虑因素。大多数 PSU 可提供高达 1600w 的功率 — 这符合美国插座的功率限制。有一些 PSU 可以提供更多服务但需要一些研究而且它们特别针对矿工。 要确定系统的瓦数您可以再次使用 PCPartPicker 来计算构建的总量。为此我们需要额外增加 10% 以上以便安心因为 GPU 的功率峰值将超过其规格。 一个重要的标准是标有 80 PLUS 等级的 PSU 效率。电源将达到其宣传的瓦数但在此过程中会损失一些功率。 80 PLUS 铜牌电源的额定效率为 82%与其他电源相比效率将达到 87% 的 Gold。如果我们有一个消耗 1600w 功率的系统并且我们使用它的时间为 20%那么假设成本为 0.16 美元/千瓦时我们使用具有 Gold 评级的 GPU 每年可以节省 22 美元。 当满负载运行时某些 PSU 比其他 PSU 噪音更大因为它们使用高转速的风扇。如果您在靠近箱子的地方工作或睡觉这可能会产生一些影响因此最好检查手册中的分贝。 选择电源时我们需要验证它是否有足够的连接器来容纳我们的所有部件。 GPU 特别使用 8或 62针电缆。这里需要注意的一个重要事项是对于 GPU 的每个电源插槽我们应该使用单独的 8 针电缆而不是使用同一电缆的多个输出菊花链。 8 针电缆的额定功率通常约为 150w。当使用一根电缆连接多个电源插槽时GPU 可能无法获得足够的功率和油门。 6. 机箱 最后但并非最不重要的一点是选择电脑机箱并非易事。 GPU 可能会变得巨大而某些情况下可能无法容纳它们。例如 4090 的长度可达 36 厘米 最重要的是使用 PCIe 转接卡安装 GPU 可能需要一些技巧。有一些较新的机箱允许安装附加卡特别是像 Phanteks Enthoo 719 这样的双系统机箱。另一个选择是 Lian-Li O11D EVO它可以通过 Lian-Li 直立 GPU 支架将 GPU 放置在直立位置。我没有这些手机壳所以我不确定它们是否适合例如多个 3090 / 4090。但是即使您的 PC 机箱不直接用 Lian-Li 支架支撑 GPU您仍然可以直立安装 GPU。 Reference [1] Source: https://towardsdatascience.com/how-to-build-a-multi-gpu-system-for-deep-learning-in-2023-e5bbb905d935 本文由 mdnice 多平台发布
