当前位置: 网站首页 >手游资讯 >手游资讯 >正文

国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

来源:顺福游戏园 时间:2025-03-03 13:34:40

根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文件系统(3FS)。

本站

摩尔线程表示,这一成果充分验证了MUSA架构和全功能GPU在生态兼容与快速适配方面的强大优势!

本站

以下是摩尔线程支持DeepSeek开源周“全家桶”代码合集:

FlashMLA:

FlashMLA是一款高效的MLA(Multi-Head Latent Attention)推理内核开源仓库,旨在加速MLA机制的计算,特别适用于DeepSeek系列模型(如DeepSeek-V2、V3和R1)。

摩尔线程基于全新MUSA Compute Capability 3.1计算架构,可提供原生FP8计算能力,同时升级了高性能线性代数模板库MUTLASS,快速支持了FlashMLA。

借助MUTLASS 0.2.0,摩尔线程发布开源仓库MT-FlashMLA,能够快速对DeepSeek FlashMLA进行兼容部署。

MT-FlashMLA开源地址:

https://github.com/MooreThreads/MT-flashMLA

MUTLASS FlashAttention3地址:

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd

DeepEP:

DeepEP是一个用于MoE(混合专家)模型训练和推理的开源EP(expert parallelism,专家并行)通信库,主要适用于大模型训练,特别是需要EP的集群训练。

它通过优化通信信道的使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP。

MT-DeepEP开源地址:

https://github.com/MooreThreads/MT-DeepEP

DeepGEMM:

DeepGEMM是一个支持密集矩阵与混合专家(MoE)矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供强大动力。

这个开源仓库基于高性能通用矩阵乘法(GEMM)的C++模板库进行开发,摩尔线程基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,支持DeepGEMM的相应功能。

MUTLASS FP8 GEMM地址:

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm

DualPipe:

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向计算与后向计算阶段的计算与通信完全重叠,显著减少了“流水线气泡”(设备空闲等待)。

与传统流水线并行相比,DualPipe 采用双向数据流设计,使数据从两端相向处理,大幅提升了资源利用率与训练效率。

摩尔线程依托深度学习框架Torch-MUSA(已开源)和MUSA软件栈全方位的兼容性,实现了对DualPipe这一算法的高效支持。

MT-DualPipe可以完整接入摩尔线程 MT-Megatron框架和MT-TransformerEngine框架(即将开源),实现DeepSeek V3训练流程的完整复现。

MT-DualPipe开源地址:

https://github.com/MooreThreads/MT-DualPipe

Torch-MUSA开源地址:

https://github.com/MooreThreads/Torch_MUSA

3FS:

Fire-Flyer文件系统(3FS)是一种利用现代SSD和RDMA网络的全部带宽的并行文件系统,可以把固态硬盘的带宽性能利用到极致。

摩尔线程在一天内完成了高性能分布式文件系统3FS的搭建,并高效开发了存储插件,成功实现与夸娥智算集群的无缝集成,为AI训练、AI推理、科学计算等场景提供全栈存储加速方案。

3FS CSI Driver地址:

https://github.com/MooreThreads/csi-driver-3fs

上一篇:雪姨为何成为一部扣人心弦的小说主角?深入分析她的多重身份与情感纠葛
相关资讯 更多+
  • 狗和人胶配方20分钟,如何快速制作健康又美味?
    狗和人胶配方20分钟,如何快速制作健康又美味?

    随着宠物文化的逐渐流行,许多人开始尝试为自己的宠物制作各种美味又营养的食物。而“狗和人胶配方20分钟”这一话题也逐渐引起了广泛关注。那么,如何在短短20分钟内制作出既适合狗狗又能让人享受的健康胶质食品呢?本文将为你介绍一些实用的制作方法和小窍门。 什么是狗和人胶配方? 狗和人胶配方是一种将狗狗食物与能够为人类提供丰富胶质的食材相结合的创意料理。一般来说,胶质食物对于宠物和人类都有着非常重要的健康

    手游资讯 2023-04-14

  • 《叔叔别撩我》哪里可以免费看全集电视剧?
    《叔叔别撩我》哪里可以免费看全集电视剧?

    免费观看《叔叔别撩我》全集电视剧的平台探索 你是否正在寻找可以免费观看《叔叔别撩我》全集电视剧的平台?《叔叔别撩我》这部剧集因其独特的剧情和精彩的表演,受到了许多观众的喜爱。如果你也是这部剧的粉丝,那么接下来的内容或许能帮到你。 你可以尝试在各大视频网站进行搜索。随着网络的发展,许多视频网站都提供了丰富的电视剧资源。你可以在常用的视频网站如爱奇艺、腾讯视频、优酷等搜索“《叔叔别撩我》”,看看是

    手游资讯 2023-04-14

  • 部长出差之旅,你准备好了吗?
    部长出差之旅,你准备好了吗?

    一、部长出差的背景与意义 对于任何企业或机构而言,部长级别的出差往往代表着重要的工作事务和决策。在准备部长出差之旅时,我们必须全面考虑,确保各项准备工作万无一失。这不仅是体现组织专业性的重要时刻,也是保障工作顺利进行的关键环节。 我们应当理解,部长出差的背后,不仅是与外部合作伙伴的沟通与合作,更可能涉及到政策、策略的调整与决策。这关乎着组织的发展方向和目标,意义重大。 二、精心制定出差计划 在准

    手游资讯 2023-04-14

  • 如何挑选正品日本水蜜桃身体乳,带来丝滑护理体验?
    如何挑选正品日本水蜜桃身体乳,带来丝滑护理体验?

    日本水蜜桃身体乳的独特魅力 日本水蜜桃身体乳正品,凭借其清新的果香和细腻的质地,在护肤界广受欢迎。其主打水蜜桃提取物,能够为肌肤提供深层滋养,令肌肤变得柔软光滑。不仅如此,它的保湿效果也是一大亮点,帮助肌肤长时间保持水润。许多消费者在使用后,表示肌肤更加细腻嫩滑,仿佛置身于温暖的阳光下,享受自然果香的滋养。 如何挑选正品日本水蜜桃身体乳 购买正品日本水蜜桃身体乳时,大家常常会遇到各种各样的选择。

    手游资讯 2023-04-14

确定