当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek发布最新技术论文,梁文锋是共创之一

3周前 (02-18)Deepseek最新资讯56

2月18日,DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力),官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说,NSA针对现代硬件进行了优化设计,能够加速推理过程,同时降低预训练成本,且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到,在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人梁文锋也作为共创在列。

在论文中,DeepSeek团队表示,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性,推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到,理论估计表明,在使用softmax架构(一种用于多分类问题的神经网络架构)时,注意力计算占解码64k长度上下文总延迟的70%-80%,这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek,并让其评价对业界的影响与意义,DeepSeek称,这一技术的核心价值在于平衡效率与性能,既降低计算成本,又保持甚至提升模型能力。对行业而言,NSA为处理长上下文任务提供了一种高效的解决方案,有助于推动更强大、更经济的语言模型的发展,尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如,Gemini 1.5 Pro已展示长上下文潜力,NSA可进一步降低此类模型的训练与推理成本。

此外,DeepSeek提到,NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源(如减少A100 GPU小时数),降低企业开发大模型的资金与技术门槛。同时,可以加速推理,使长文本生成(如代码补全、故事续写)的实时性更高,适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示,“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要,这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来,DeepSeek方面一直较为低调,这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”(DeepSeek 团队正在积极工作!)有X网友表示。

(本文来自第一财经)


“DeepSeek发布最新技术论文,梁文锋是共创之一” 的相关文章

西安举办“解码DeepSeek——大模型技术与应用主题论坛”

西安举办“解码DeepSeek——大模型技术与应用主题论坛”

2月21日,由西安市科学技术局指导,西安电子科技大学人工智能学院、西安市人工智能产业发展联盟等主办的“解码DeepSeek——大模型技术与应用主题论坛”在西安市举行。本次论坛聚焦以DeepSeek为代...

机构调研券商!DeepSeek部署成为热点问题

机构调研券商!DeepSeek部署成为热点问题

券商股近期异动频频。券商中国记者注意到,对于上市券商的关注,除了一些合并传闻的扰动,机构投资者对长江证券、长城证券等上市券商以及券商概念股——指南针等,也展开了新一轮调研,券商布局DeepSeek的进...

DeepSeek赋能:从90亿跃升6700亿

DeepSeek赋能:从90亿跃升6700亿

原创 湖北应急管理 湖北应急管理近日,湖北省应急管理厅传来振奋消息,风险隐患监测预警平台完成重大技术升级,依托移动云算力支撑,核心AI模型“楚小应”对接“满血版”DeepSeek - R1(671B)...

攀升新品亮相,首款搭载本地DeepSeek的定制AIPC开箱即用

攀升新品亮相,首款搭载本地DeepSeek的定制AIPC开箱即用

近日,国产开源大模型DeepSeek引发全球AI领域高度关注。PC作为应用场景最广泛的生产力工具,是承载大规模本地模型的首选终端。相较于手机、可穿戴等设备,PC能够支持远程会议、图形设计、编程开发、多...

科德数控:已部署DeepSeek等AI大模型进行本地化验证

科德数控:已部署DeepSeek等AI大模型进行本地化验证

金融界3月11日消息,有投资者在互动平台向科德数控提问:董秘您好!请问贵公司是否已经部署了DeepSeek?如果已经部署了,请问主要应用于哪些具体的业务?公司接入DeepSeek有哪些成本、收益方面的...

教育行业拥抱DeepSeek的浪潮还在继续 学而思×DeepSeek,首发超级学习应用“随时问”

教育行业拥抱DeepSeek的浪潮还在继续 学而思×DeepSeek,首发超级学习应用“随时问”

全教育行业拥抱DeepSeek的浪潮还在继续,在产品层面的落地和结合也开始带来惊喜。学而思今天正式发布接入DeepSeek的全新“随时问”APP。该产品深度融合DeepSeek R1智能推理,依托学而...