/
TRANSFORMER 关键字列表
2024-11-06
腾讯放大招，超Meta！史上参数最大，开源专家混合模型
腾讯开源了基于Transformer架构的Hunyuan-Large模型，拥有3890亿参数，优于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE结构，高效训练和推理，支持长达256K上下文。使用了KV缓存压缩技术，减少内存占用。训练数据包括7万亿token，包括高质量合成数据。模型在CommonsenseQA、PIQA、WinoGrande等测试中表现优异。
2024-07-08
中国生成式AI专利38,000个，是美国6倍、超过全球总和！
球申请生成式AI专利前10位分别是：腾讯、平安保险、百度、中国科学院、IBM、阿里巴巴、三星电子、Alphabet（谷歌母公司）、字节跳动和微软。（排名按照专利数量）
2022-04-26
EasyCV开源｜开箱即用的视觉自监督+Transformer算法库
图像自监督预训练极大降低了图像任务繁重的标注工作，节省大量人力成本，而transformer技术在NLP领域的巨大成功也为CV模型效果进一步提升提供了非常大的想象空间。
白皮书
京公网安备 11010802021500号
