当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第二弹:EP通信库来了,有望再次降低计算消耗

3周前 (02-25)Deepseek最新资讯46

2月25日,DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示,这是第一个用于MoE(专家)模型训练和推理的开源EP通信库。

“高效、优化的全员沟通;节点内和节点间均支持NVLink和RDMA(远程直接内存访问,一种通信技术);用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;原生FP8调度支持;灵活的GPU(图形处理器)资源控制,实现计算与通信重叠。”DeepSeek如此介绍DeepEP的特点。

EP即expert parallelism(专家并行),是一种在大规模分布式AI模型训练中使用的技术,能用于提升模型并行处理能力和训练效率。DeepSeek在代码托管网站GitHub上解释,对于延迟敏感的推理解码任务,DeepEP包含有一组使用纯RDMA的低延迟内核,可以用于将延迟最小化,DeepEP还引入一种通信与计算重叠的方法,这种方法可以不占用SM(流处理器)资源。简而言之,DeepEP也是用于提升GPU利用效率的关键技术之一。

性能可比肩OpenAI o1的DeepSeek-R1是基于DeepSeek-V3训练出来的模型,DeepSeek-V3此前就以不大规模使用最先进的英伟达GPU、低训练预算著称。为了在已有的GPU上训练大模型,DeepSeek进行了诸多创新,以高效利用GPU算力。有学界人士此前就解读了DeepSeek-V3实现计算与通信重叠的重要作用。清华大学计算机系长聘教授翟季冬在解读DeepSeek的相关技术时表示,DeepSeek-V3为了训练效率提升,做了四方面的优化,包括负载均衡、通信优化、内存优化和计算优化,为此,DeepSeek团队充分挖掘了算法、软件和硬件协同创新的潜力。例如DeepSeek为了降低通信开销想了很多办法,包括精细化编排计算和通讯。

“DeepSeek提出一种流水线并行算法DualPipe,通过精细控制分配给计算和通信的GPU SM数量,实现计算和通信完全重叠,从而提高GPU资源的利用率。期间,DeepSeek团队使用了英伟达底层的PTX语言来控制SM的使用。” 翟季冬表示。

中存算半导体董事长陈巍解析DeepSeek-V3和R1训练结构的独特优势时也指出,DeepSeek设计了DualPipe算法来实现更高效的流水线并行,并通过计算与通信的重叠隐藏了大模型训练过程中的大部分通信开销。此外,DeepSeek开发了跨节点All-to-All通信内核,以充分利用InfiniBand和NVLink带宽,对显存使用进行了优化,使得DeepSeek无需使用昂贵的张量并行即可训练DeepSeek-V3。

记者就开源DeepEP通信库的影响询问DeepSeek,它的回答是,DeepEP能显著提升MoE模型的训练和推理效率,显著降低计算资源消耗,开源DeepEP有助于降低AI技术的开发成本,且有助于减少重发开发。

一些网友则在DeepSeek宣布开源的帖子下评论。“DeepEP看上去像是MoE模型训练和推理的颠覆者。”有网友称。也有网友表示,NVLink和RDMA是支持大规模MoE模型的重要因素,看来DeepSeek再次突破了AI基础设施的极限。

DeepSeek此前宣布,本周会陆续开源5个代码库。加上2月24日开源的代码库FlashMLA,DeepSeek已开源了2个代码库,接下来还有3个代码库待开源。DeepSeek此前在公告中表示,DeepSeek是探索AGI(通用人工智能)的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。

(本文来自第一财经)


“DeepSeek开源第二弹:EP通信库来了,有望再次降低计算消耗” 的相关文章

DeepSeek API 的返回值格式是什么?

DeepSeek API 的返回值格式是什么?

DeepSeek API 的返回值格式是什么?DeepSeek API的返回值格式通常是JSON格式。这种格式返回的数据包括生成的文本内容、状态码(用于判断请求是否成功)、错误信息(若请求失败时)等。...

DeepSeek大模型席卷金融业,银行、券商、基金、保险竞相接入

DeepSeek大模型席卷金融业,银行、券商、基金、保险竞相接入

近期,DeepSeek大模型在金融业掀起一股热潮,多家金融机构纷纷宣布接入或部署该模型。据不完全统计,目前已有16家券商、10余家公募基金公司以及多家银行和保险机构宣布接入或部署DeepSeek大模型...

DeepSeek爆火,最应该关注的十大走向

DeepSeek爆火,最应该关注的十大走向

作 者丨孔海丽、赵云帆编 辑丨朱益民DeepSeek火成了现象级,中国公司在全球AI竞技场投下一枚"算法裂变弹"。当硅谷巨头们仍在算力军备竞赛中重兵鏖战,中国工程师用"更...

京东云 DeepSeek 一体机升级,单台即可运行满血版 V3 / R1 模型

京东云 DeepSeek 一体机升级,单台即可运行满血版 V3 / R1 模型

IT之家 2 月 22 日消息,京东云昨日宣布 DeepSeek 一体机再升级,京东云 vGPU 智算一体机单台即可运行满血版 DeepSeek V3 / R1。京东云 vGPU 智算一体机,为客户部...

腾讯理财通接入DeepSeek-R1模型满血版

腾讯理财通接入DeepSeek-R1模型满血版

2月20日,经济观察网获悉,腾讯理财通正式接入DeepSeek-R1模型满血版,同时支持腾讯混元大模型。用户下载腾讯理财通App,首页点击搜索框或股票行情入口即可体验。此前腾讯理财通已上线AI(人工智...

北京大学联合华为发布全栈开源 DeepSeek 推理方案

北京大学联合华为发布全栈开源 DeepSeek 推理方案

IT之家 3 月 10 日消息,据华为技术有限公司和北京大学高性能计算校级公共平台消息,2025 年 3 月 9 日,北京大学联合华为发布 DeepSeek 全栈开源推理方案。据介绍,该方案...