/
记忆层规模 关键字列表
突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型
目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。
白皮书
/
目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。
北京第二十六维信息技术有限公司（至顶网）版权所有. 京ICP备15039648号-7
京ICP证161336号
京公网安备 11010802021500号
举报电话：010-62641205-5060 涉未成年人举报专线：010-62641208 举报邮箱：jubao@zhiding.cn
网上有害信息举报专区：https://www.12377.cn
