当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第二弹:EP通信库来了,有望再次降低计算消耗

3周前 (02-25)Deepseek最新资讯48

2月25日,DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示,这是第一个用于MoE(专家)模型训练和推理的开源EP通信库。

“高效、优化的全员沟通;节点内和节点间均支持NVLink和RDMA(远程直接内存访问,一种通信技术);用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;原生FP8调度支持;灵活的GPU(图形处理器)资源控制,实现计算与通信重叠。”DeepSeek如此介绍DeepEP的特点。

EP即expert parallelism(专家并行),是一种在大规模分布式AI模型训练中使用的技术,能用于提升模型并行处理能力和训练效率。DeepSeek在代码托管网站GitHub上解释,对于延迟敏感的推理解码任务,DeepEP包含有一组使用纯RDMA的低延迟内核,可以用于将延迟最小化,DeepEP还引入一种通信与计算重叠的方法,这种方法可以不占用SM(流处理器)资源。简而言之,DeepEP也是用于提升GPU利用效率的关键技术之一。

性能可比肩OpenAI o1的DeepSeek-R1是基于DeepSeek-V3训练出来的模型,DeepSeek-V3此前就以不大规模使用最先进的英伟达GPU、低训练预算著称。为了在已有的GPU上训练大模型,DeepSeek进行了诸多创新,以高效利用GPU算力。有学界人士此前就解读了DeepSeek-V3实现计算与通信重叠的重要作用。清华大学计算机系长聘教授翟季冬在解读DeepSeek的相关技术时表示,DeepSeek-V3为了训练效率提升,做了四方面的优化,包括负载均衡、通信优化、内存优化和计算优化,为此,DeepSeek团队充分挖掘了算法、软件和硬件协同创新的潜力。例如DeepSeek为了降低通信开销想了很多办法,包括精细化编排计算和通讯。

“DeepSeek提出一种流水线并行算法DualPipe,通过精细控制分配给计算和通信的GPU SM数量,实现计算和通信完全重叠,从而提高GPU资源的利用率。期间,DeepSeek团队使用了英伟达底层的PTX语言来控制SM的使用。” 翟季冬表示。

中存算半导体董事长陈巍解析DeepSeek-V3和R1训练结构的独特优势时也指出,DeepSeek设计了DualPipe算法来实现更高效的流水线并行,并通过计算与通信的重叠隐藏了大模型训练过程中的大部分通信开销。此外,DeepSeek开发了跨节点All-to-All通信内核,以充分利用InfiniBand和NVLink带宽,对显存使用进行了优化,使得DeepSeek无需使用昂贵的张量并行即可训练DeepSeek-V3。

记者就开源DeepEP通信库的影响询问DeepSeek,它的回答是,DeepEP能显著提升MoE模型的训练和推理效率,显著降低计算资源消耗,开源DeepEP有助于降低AI技术的开发成本,且有助于减少重发开发。

一些网友则在DeepSeek宣布开源的帖子下评论。“DeepEP看上去像是MoE模型训练和推理的颠覆者。”有网友称。也有网友表示,NVLink和RDMA是支持大规模MoE模型的重要因素,看来DeepSeek再次突破了AI基础设施的极限。

DeepSeek此前宣布,本周会陆续开源5个代码库。加上2月24日开源的代码库FlashMLA,DeepSeek已开源了2个代码库,接下来还有3个代码库待开源。DeepSeek此前在公告中表示,DeepSeek是探索AGI(通用人工智能)的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。

(本文来自第一财经)


“DeepSeek开源第二弹:EP通信库来了,有望再次降低计算消耗” 的相关文章

清华团队推出“安全增强版DeepSeek”

清华团队推出“安全增强版DeepSeek”

人民网北京2月24日电 (记者赵竹青)2月23日,清华大学计算机系相关研究团队宣布推出大语言模型RealSafe-R1。该模型基于DeepSeek R1进行深度优化与后训练,在确保性能稳定的基础上,显...

湖南大模型+DeepSeek 助力智能诊疗

湖南大模型+DeepSeek 助力智能诊疗

湖南日报3月12日讯(全媒体记者 王铭俊)记者今天从智慧眼科技股份有限公司获悉,该公司大模型砭石与DeepSeek的本地化部署应用,已在长沙市第一医院落地。智慧眼人工智能研究院院长胡频博士介绍,“砭石...

DeepSeek已经给儿童看病了 业内:“D医生”不为建议担责

DeepSeek已经给儿童看病了 业内:“D医生”不为建议担责

DeepSeek热潮下,有人拿它算命,有人用它看病。近日互联网上出现大量用DeepSeek求医问药的帖子,有观点称DeepSeek有三甲医院专家水平,也有不少人对AI看病开方表现出审慎态度。甚至这位“...

deepseek正确用法,deepseek app能做什么?

deepseek正确用法,deepseek app能做什么?

DeepSeek的正确用法以及DeepSeek APP的功能介绍如下:DeepSeek的正确用法安装与配置:访问DeepSeek官网,下载最新版本的安装包,并按照提示完成安装。将DeepSeek的安装...

有了DeepSeek加持,中国情趣娃娃干翻日本娃娃

有了DeepSeek加持,中国情趣娃娃干翻日本娃娃

没想到,DeepSeek走红之后,第一个搭上这股东风的产业竟然是充气娃娃。不过这次,不再靠充气和皮肤,而是靠AI了。最近,来自广东中山的成人玩偶制造公司金三玩美(WMdoll)一下子火了。去年12月,...

当“医线”代表“接入”DeepSeek

当“医线”代表“接入”DeepSeek

中新网济南2月28日电 题:当“医线”代表“接入”DeepSeek中新网记者 赵晓 祁建月“目前,奥法妥木单抗在治疗自身免疫性脑炎中发挥着越来越大的作用,请详细说明它在临床工作中的应用情况及困境。”一...