/
加速框架 关键字列表
MLPerf Llama大模型推理测试：一款GPU独战NVIDIA群雄
与大模型推理测试结果直接相关的，就是GPU的型号和数量。除此之外，我们还能看到更多信息，比如使用的服务器型号、CPU，以及软件平台环境等。参考上面截图，实际上NVIDIA GPU在Llama-2-70b测试中基本都是用CUDA+TensorRT；而AMD则是ROCm+PyTorch+vLLM。
白皮书
京公网安备 11010802021500号
