/
混合专家架构 关键字列表
600GB显存才能拉起来的Grok-1不太惊艳！马斯克大模型企业xAI开源Grok-1，截止目前全球参数规模最大的MoE大模型！
马斯克旗下大模型公司开发的Grok-1大语言模型已开源，采用Apache2.0协议。Grok-1是一个混合专家架构模型，参数总数3140亿，每次推理激活860亿。虽然在MMLU和GSM8K评测中表现不错，但与同类模型相比资源消耗大而收益不显著。开源的仅为推理代码，训练基础设施和tokenizer的特殊token作用未透露。
白皮书
京公网安备 11010802021500号
