字节跳动豆包团队开源 COMET 技术，大模型训练效率提升 1.7 倍

COMET 技术助力大模型训练

3 月 10 日消息，字节跳动豆包大模型团队官宣开源一项针对 MoE（混合专家模型）架构的关键优化技术，名为 COMET。该技术可将大模型训练效率提升 1.7 倍，成本节省 40%。据悉，COMET 已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。

之前的技术突破

早前豆包团队发布了新一代稀疏架构 UltraMem，将模型推理成本砍掉 83%。此次，豆包团队又开源了 COMET，进一步降低模型训练成本。

开源与兼容计划

目前，COMET 核心代码已开源，并计划兼容 Triton 等编译生态。研究者和开发者可以通过以下链接查看论文和开源代码：

论文链接：https://arxiv.org/pdf/2502.19811
开源地址：https://github.com/bytedance/flux

结论

字节跳动豆包团队通过开源 COMET 技术，不仅提升了大模型训练效率，还显著降低了成本。这一技术突破将为人工智能领域的研究和开发带来更多可能性，推动大模型的应用和普及。随着 COMET 的开源和兼容计划的实施，更多开发者将能够受益于这一创新技术，进一步推动 AI 技术的发展。