极智视界分享了Groq LPU的特点,这是一款专注于生成式AI推理加速的近存计算AI芯片。Groq的LPU以其高推理效率和近存计算技术,特别适合处理大型语言模型(LLM)。
AI推理领域的重要性日益凸显,市场重心从AI训练转向推理。Groq LPU推理卡解决了性能和成本问题,使AI推理大规模部署成为可能
根据Groq官网的介绍,LPU是一种专为AI推理所设计的芯片。但要训练大模型,仍然需要购买GPU。