摩尔线程全面支持 DeepSeek 开源项目,助力 AI 训练与推理

DeepSeek 开源周圆满收官

3 月 2 日消息,DeepSeek 开源周正式收官,摩尔线程智能科技(北京)股份有限公司昨日晚发文宣布,在短时间内成功实现对 DeepSeek 各个开源项目的全面支持,涵盖 FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer 文件系统(3FS)。

FlashMLA:高效 MLA 推理内核

FlashMLA 是一款高效的 MLA(Multi-Head Latent Attention)推理内核开源仓库,旨在加速 MLA 机制的计算,特别适用于 DeepSeek 系列模型。摩尔线程基于全新 MUSA Compute Capability 3.1 计算架构,提供原生 FP8 计算能力,并通过升级 MUTLASS 库,快速支持了 FlashMLA。
开源地址:

DeepEP:高效 EP 通信库

DeepEP 是一个用于 MoE(混合专家)模型训练和推理的开源 EP 通信库,适用于大模型训练。摩尔线程基于 MUSA Compute Capability 3.1 全功能 GPU,第一时间适配了 DeepEP,支持高效优化的 All-to-All 通信和原生 FP8 数据分发等特性。
开源地址:

DeepGEMM:FP8 GEMM 库

DeepGEMM 支持密集矩阵与 MoE 矩阵乘法的 FP8 GEMM 库,为 V3/R1 的训练与推理提供强大动力。摩尔线程基于 MUTLASS 在全新 GPU 架构上优化实现了 FP8 矩阵乘法,支持 DeepGEMM 的相应功能。
开源地址:

 

DualPipe:双向流水线并行算法

DualPipe 是 DeepSeek-V3 提出的双向流水线并行算法,显著减少了 “流水线气泡”,提升了资源利用率与训练效率。摩尔线程依托 Torch-MUSA 和 MUSA 软件栈,实现了对 DualPipe 的高效支持。
开源地址:

3FS:高性能并行文件系统

Fire-Flyer 文件系统(3FS)利用现代 SSD 和 RDMA 网络的全部带宽,在 V3 和 R1 的训练与推理过程中成为关键支撑。摩尔线程迅速完成了 3FS 的搭建,并高效开发了存储插件,实现与夸娥智算集群的无缝集成。
开源地址:

结论

摩尔线程在 DeepSeek 开源周中展示了强大的技术实力,全面支持了多个关键开源项目,助力 AI 训练与推理的高效进行。这一系列举措不仅提升了 DeepSeek 模型的性能,也为 AI 领域的研究和应用提供了坚实的基础。未来,摩尔线程将继续推动技术创新,为 AI 发展贡献更多力量。

编辑