/
MLPerf Llama大模型推理测试：一款GPU独战NVIDIA群雄
与大模型推理测试结果直接相关的，就是GPU的型号和数量。除此之外，我们还能看到更多信息，比如使用的服务器型号、CPU，以及软件平台环境等。参考上面截图，实际上NVIDIA GPU在Llama-2-70b测试中基本都是用CUDA+TensorRT；而AMD则是ROCm+PyTorch+vLLM。
服务器NVMe调优指南：4900万IOPS、340GB/s带宽 (24x SSD)
NVMe 是一种用于通过 PCIe 总线访问非易失性存储介质的开放式逻辑设备接口。在本文发布之时，市场上已有一些 PCIe Gen5 NVMe 驱动器，但大多数 NVMe 驱动器的速度为Gen3（8 GT/s）和Gen4（16 GT/s）。第五代（32 GT/s）NVMe 驱动器因更低的I/O开销、更低的延迟以及对多个长命令队列的支持而提升了性能。
3U 8卡：对AI推理服务器意味着什么？
如果把2U服务器加高到3U，就不难面对CPU功耗不断提升的情况了。按最简单的理解，如果只是加高CPU散热器的高度（鳍片总面积成正比），还有机箱空间/风扇排的改变，效果应该是可以的。3U机箱还有另一点好处。记得我在多年前曾选型过一款机箱，当时看重3U机架式的原因就是能插全高PCI/PCIe板卡（考虑支持工作站的显卡），不需要像2U机箱那样转接为横插。
CXL分层内存测试：数据库、HPC和Spark机器学习
数据密集型工作负载的激增，导致计算系统需要处理的数据量大幅增加。这种不断拓展的数据环境，迫切需要具备更大容量和更高带宽的内存解决方案。然而，要确保当前系统能够满足应用性能方面不断增长的需求，还必须克服诸多挑战。
风冷500W CPU？Dell PowerEdge 17G AMD服务器预览 (1)
这4款服务器的CPU都是第5代AMD EPYC 9005系列，R7725和R6725支持的DDR5内存频率为6000 MT/s这个我不意外；但当初看到单CPU的R7715和R6715机型只支持到5200 MT/s时，还是有点不懂的？不过今天我想说它们应该也能支持到6000 MT/s了，后面会有具体证据列给大家。
AMD EPYC 9005服务器BIOS & 工作负载调优指南
启用同步多线程（SMT）会对某些工作负载（尤其是高性能计算（HPC））产生中性到负面的性能影响。此外，一些应用程序许可证计算启用的硬件线程数量而不是物理核心数量。因此，在你的 AMD EPYC 9005 系列处理器上禁用 SMT 可能是最佳选择。
京公网安备 11010802021500号
