当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

3周前 (02-25)Deepseek最新资讯49

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

国内多所高校推出DeepSeek相关课程 杭州电子科技大学:几分钟名额就被抢光

国内多所高校推出DeepSeek相关课程 杭州电子科技大学:几分钟名额就被抢光

近日,DeepSeek在全社会引发关注。北京青年报记者注意到,新学期以来,国内多所高校开设了和DeepSeek相关的课程,鼓励学生学习、掌握DeepSeek相关的技术和知识。杭州电子科技大学教务处负责...

DeepSeek接入完毕,武汉硚口的这些业务可一键办理

DeepSeek接入完毕,武汉硚口的这些业务可一键办理

极目新闻通讯员 李刚近日,武汉市硚口区行政审批局“公司宝典”微信公众号接入深度求索(DeepSeek)人工智能模型,开创了湖北省省市场主体登记领域使用生成式AI服务群众的先河。公司宝典微信公众号据悉,...

全面部署DeepSeek!江苏首个区域卫生领域AI智慧服务“宁宁”上线

全面部署DeepSeek!江苏首个区域卫生领域AI智慧服务“宁宁”上线

3月5日,基于DeepSeek的江苏首个区域卫生领域AI智慧服务“宁宁”将正式上线!市民可通过“南京卫生12320”微信公众号获得24小时全天候、精准、快速的咨询服务,实现健康科普、政策咨询、机构查询...

DeepSeek接入贸易全链路环节!“义乌老板娘”积极拥抱AI新技术

DeepSeek接入贸易全链路环节!“义乌老板娘”积极拥抱AI新技术

在浙江义乌国际商贸城的20多万名从业者中,65%以上是女性,她们也被亲切地称为“义乌老板娘”。随着AI科技的加速发展,这些女性积极拥抱新技术,让小商品贸易赢得更广阔的市场。目前,义乌的AI智创服务平台...

超200亿“弹药”来了!问了DeepSeek,如何更好配置科创板

超200亿“弹药”来了!问了DeepSeek,如何更好配置科创板

近年来,指数投资已经成为最常用的投资配置工具。科创板更是A股指数化投资比例最高的板块。根据上交所数据显示,科创板相关指数产品合计规模超2400亿元,占科创板整体自由流通市值比例为8.3%。开年以来,科...

协鑫能科:公司暂时没有与DeepSeek开展业务合作

协鑫能科:公司暂时没有与DeepSeek开展业务合作

金融界2月17日消息,有投资者在互动平台向协鑫能科提问:尊敬的董秘你好!新年好!公司DeepSeek有合作吗?公司回答表示:公司主要从事能源资产投资管理及综合能源服务相关业务,目前公司暂时没有与Dee...