腾讯推出 Hunyuan-Large 大模型，刷新开源 AI 模型记录
业界最大 Transformer 基于 MoE 模型
11 月 5 日消息，腾讯今日宣布推出 Hunyuan-Large 大模型，官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数（389B）和 520 亿激活参数（52B）。腾讯在 Hugging Face 开源了 Hunyuan-A52B-Pretrain 、 Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8，并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。
模型技术优势
- 高质量合成数据：通过合成数据增强训练，Hunyuan-Large 能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据。
- KV 缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了 KV 缓存的内存占用和计算开销，提高了推理吞吐。
- 专家特定学习率缩放：为不同专家设置不同的学习率，确保每个子模型都能有效地从数据中学习，并为整体性能做出贡献。
- 长上下文处理能力：预训练模型支持高达 256K 的文本序列，Instruct 模型支持 128K 的文本序列，显著提升了长上下文任务的处理能力。
- 广泛的基准测试：在多种语言和任务上进行广泛实验，验证了 Hunyuan-Large 的实际应用效果和安全性。
资源链接
- 论文链接：Hunyuan-Large 论文
- Github 仓库：腾讯 Hunyuan-Large
- Huggingface 页面：Hunyuan-Large on Huggingface
- 腾讯云产品页面：腾讯云 Hunyuan
总结
腾讯推出的 Hunyuan-Large 大模型以其巨大的参数规模和先进的技术优势，刷新了开源 AI 模型的新纪录。通过高质量合成数据、KV 缓存压缩、专家特定学习率缩放和强大的长上下文处理能力，Hunyuan-Large 在多种语言和任务上表现出色。此次开源不仅为学术研究和工业应用提供了强有力的工具，也标志着 AI 技术的又一次重大进步。