GPU 技术 关键字列表
深入解析 Nvidia 的 AI 推理"操作系统"Dynamo

深入解析 Nvidia 的 AI 推理"操作系统"Dynamo

NVIDIA 在 GTC 大会上发布了 Dynamo 软件框架,这是一个专为解决大规模 AI 推理挑战而设计的开源系统。CEO 黄仁勋将其比作"AI 工厂的操作系统",它能够优化 TensorRT LLM 等推理引擎,实现跨多 GPU 的高效运行,显著提升推理性能和吞吐量,为企业级 AI 部署提供关键支持。

Nvidia 推出 Project DIGITS:一款可放置于任何桌面的掌上型 AI 超级计算机

Nvidia 推出 Project DIGITS:一款可放置于任何桌面的掌上型 AI 超级计算机

英伟达推出 Project DIGITS,这是一款基于即将发布的 GB10 Grace Blackwell 超级芯片的小型 AI 超级计算机。它将于 5 月上市,为用户提供 1 petaflop 的 AI 计算性能,使研究人员、数据科学家和学生能在桌面上获得企业级计算能力。这款设备支持大型语言模型的原型设计、训练和微调,让任何人都能开发出媲美 ChatGPT 的 AI 系统。