当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek发布最新技术论文,梁文锋是共创之一

3周前 (02-18)Deepseek最新资讯54

2月18日,DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力),官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说,NSA针对现代硬件进行了优化设计,能够加速推理过程,同时降低预训练成本,且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到,在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人梁文锋也作为共创在列。

在论文中,DeepSeek团队表示,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性,推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到,理论估计表明,在使用softmax架构(一种用于多分类问题的神经网络架构)时,注意力计算占解码64k长度上下文总延迟的70%-80%,这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek,并让其评价对业界的影响与意义,DeepSeek称,这一技术的核心价值在于平衡效率与性能,既降低计算成本,又保持甚至提升模型能力。对行业而言,NSA为处理长上下文任务提供了一种高效的解决方案,有助于推动更强大、更经济的语言模型的发展,尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如,Gemini 1.5 Pro已展示长上下文潜力,NSA可进一步降低此类模型的训练与推理成本。

此外,DeepSeek提到,NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源(如减少A100 GPU小时数),降低企业开发大模型的资金与技术门槛。同时,可以加速推理,使长文本生成(如代码补全、故事续写)的实时性更高,适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示,“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要,这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来,DeepSeek方面一直较为低调,这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”(DeepSeek 团队正在积极工作!)有X网友表示。

(本文来自第一财经)


“DeepSeek发布最新技术论文,梁文锋是共创之一” 的相关文章

DeepSeek解决了“世纪难题”:豆腐脑是甜的还是咸的?

DeepSeek解决了“世纪难题”:豆腐脑是甜的还是咸的?

随着DeepSeek持续火热,越来越多的网友好奇其能否回答一些“世纪难题”。于是,记者尝试向DeepSeek提问“豆腐脑是甜的还是咸的”,并打开联网搜索和深度思考R1。DeepSeek截图随后,Dee...

南网储能:公司已私有化部署DeepSeek-R1模型

南网储能:公司已私有化部署DeepSeek-R1模型

每经AI快讯,有投资者在投资者互动平台提问:董秘您好,公司官微发布‘储能LCDP’助推南网储能多业务领域数字化转型,未来是否会考虑与deepseek合作,进一步完善数字化转型?南网储能(600995....

被AI妆到了!DeepSeek教网友化妆,竟像极了“石矶娘娘”

被AI妆到了!DeepSeek教网友化妆,竟像极了“石矶娘娘”

原创 关注AI的 AI好好用AI好好用报道编辑:杨文DeepSeek的风吹到了美妆区。DeepSeek 又又又来搞抽象了!继上次之后,网友又想到了个新路数:教化妆。在 DeepSeek 这个「狗头军师...

DeepSeek+腾讯双重龙头!“强得可怕”,连创历史新高!

DeepSeek+腾讯双重龙头!“强得可怕”,连创历史新高!

云计算利好频出。2月18日,A股主要指数集体调整。截至收盘,沪指跌0.93%,深证成指跌1.61%,两大科创指数跌幅均在2%左右水平。沪深两市成交额接近1.8万亿元,较昨日缩量逾千亿。行业板块呈现普跌...

有了DeepSeek加持,中国情趣娃娃干翻日本娃娃

有了DeepSeek加持,中国情趣娃娃干翻日本娃娃

没想到,DeepSeek走红之后,第一个搭上这股东风的产业竟然是充气娃娃。不过这次,不再靠充气和皮肤,而是靠AI了。最近,来自广东中山的成人玩偶制造公司金三玩美(WMdoll)一下子火了。去年12月,...

DeepSeek 到底是什么?DeepSeek的七大提问技巧,小白快速上手全攻略

DeepSeek 到底是什么?DeepSeek的七大提问技巧,小白快速上手全攻略

DeepSeek 到底是什么?DeepSeek 是一家 2023 年成立的杭州初创公司,它推出的大语言模型 DeepSeek-V3 和 DeepSeek-R1,堪称 “王炸” 组合。DeepSeek-...