大酷樂
  • 汽车
  • 理财
  • 军事
  • 科技
  • 游戏
  • 互联网
  • 娱乐
  • 财经
  • 科学
  • 社会
  • 亲子
  • 电影
  • 健康
  • 教育
  1. 首頁
  2. 财经

梁文锋、杨植麟论文“撞车”,直指算法优化,挑战ChatGPT核心机制

2025-02-20 简体 HK SG TW

今天小编分享的财经经验:梁文锋、杨植麟论文“撞车”,直指算法优化,挑战ChatGPT核心机制,欢迎阅读。

每经记者 岳楚鹏 每经编辑 兰素英

梁文锋 图片来源:视觉中国

北京时间 2 月 18 日,在马斯克还在庆祝 Grok 3 模型正式发布的时候,DeepSeek 官方在社交平台 X 上发布了一篇纯技术论文,主要是关于原生稀疏注意力(Native Sparse Attention,下称 NSA),直指 ChatGPT 等顶尖大模型背后的 Transformer 架构最核心的注意力机制。

通过这一技术,DeepSeek 不仅能将大语言模型处理 64k 长文本的速度最高提升 11.6 倍,更在通用基准测试中实现了对传统全注意力模型(Full Attention models)的性能反超。

值得注意的是,这篇论文是由 DeepSeek 创始人梁文锋亲自提交的,而且他也是作者之一。而就在 DeepSeek 发表这篇技术论文的同一天,月之暗面创始人杨植麟也 " 挂帅 " 发布了最新论文,主题同样围绕长文的算法优化。

月之暗面提出的新方法叫块注意力混合(Mixture of Block Attention,下称 MoBA)。这项方法没有完全脱离现在最主流的全注意力机制,而是设计了一套可以自由切换的方式,让这些模型可以在全注意力和稀疏注意力机制之间切换,给已有的全注意力模型更多的适配空间。

谈及 DeepSeek 的 NSA 机制,风投公司 RAI Digital 联合创始人萨义德 · 戈苏斯对《每日经济新闻》记者解释称,与马斯克所追求的 " 大力出奇迹 " 不同,DeepSeek 的新技术更强调通过算法优化来提升长文处理效率。他提到,NSA 不会专注每个单词,而是尝试通过只关注重要的单词来提升效率。

DeepSeek 发布新论文,梁文锋参与并提交

北京时间 2 月 18 日,DeepSeek 官方在 X 上发布新论文,介绍了一种新的算法优化方式——原生稀疏注意力(NSA)。

据 DeepSeek 介绍,NSA 专为长文本训练与推理设计,能利用动态分层稀疏策略等方法,通过针对现代硬體的优化设计,显著优化传统 AI 模型在训练和推理过程中的表现,特别是提升长上下文的推理能力,在保证性能的同时提升了推理速度,并有效降低了预训练成本。

图片来源:X

通过这一技术,DeepSeek 不仅能将大语言模型处理 64k 长文本的速度最高提升 11.6 倍,更在通用基准测试中实现了对传统全注意力模型的性能反超。

图片来源:DeepSeek 的 X 账号

值得注意的是,DeepSeek 创始人梁文锋也出现在了论文作者的行列当中,在作者排名中位列倒数第二,并且也是他亲自提交至预印本网站上的。

图片来源:arXiv

论文的第一作者是 DeepSeek 的实习生袁景阳,他于 2022 年在北大获得了学士学位,目前在北大的 Anker Embodied AI 实验室继续攻读研究生学位。他也是 DeepSeek-V3 报告的主要作者之一,并参与了 DeepSeek-R1 的研究工作。

月之暗面再次 " 撞车 "DeepSeek

无独有偶,在 DeepSeek 发论文的当天,月之暗面创始人杨植麟也亲自 " 挂帅 " 发表了一篇论文,同样直指算法优化。

杨植麟 图片来源:视觉中国

图片来源:月之暗面

该公司提出的新方法叫块注意力混合(MoBA)。顾名思义,这一方法也运用了将词变成块的方法。不过,该方法没有完全脱离现在最主流的全注意力机制,而是设计了一套可以自由切换的方式,让这些模型可以在全注意力和稀疏注意力机制之间切换,给已有的全注意力模型更多的适配空间。

根据论文,MoBA 的计算复杂度随着上下文长度增加而优势明显。在 1M token 的测试中,MoBA 比全注意力快了 6.5 倍;到 10M token 时,则提速 16 倍。而且,它已经在 Kimi 的产品中使用,用来处理日常用户们的超长上下文的处理需求。

而这也并不是是 DeepSeek 和月之暗面第一次 " 撞车 " 了,上一次是在 DeepSeek 推理模型 R1 和月之暗面推理模型 Kimi 1.5 发布时。

MoBA 论文主要作者章明星教授笑称," 有种‘掌中,亦一火字’的感觉(不讨论谁是孔明,谁说周郎)。" 他同时也感慨:" 大模型这套架构最神奇的一点我感觉就是它似乎自己就指出了前进的路线,让不同的人从不同的角度得出了相似的前进方向。"

DeepSeek 新方法背后的三大技术

谈及 DeepSeek 的新方法,风投公司 RAI Digital 联合创始人萨义德 · 戈苏斯告诉每经记者,这是 AI 模型处理超长文本的新方法,比传统方法更快、更高效。

像 ChatGPT 这样的大型语言模型,都使用一种叫 " 注意力 "(Attention)机制的方法来处理文本,2017 年谷歌研究员推出的论文《Attention Is All You Need》被认为是现在所有大模型的基石。

戈苏斯进一步向每经记者解释道:"想象一下你正在读一本书。要理解一个句子,你不仅要看当前的单词,还要回忆起前面句子中的相关单词,以理解所有内容。AI 使用注意力做类似的事情,这有助于它确定哪些词是重要的,以及它们彼此之间的关系。传统注意力机制(全注意力)会查看文本中的每个单词,并将其与其他每个单词进行比较。这对于短文本来说很好,但是当文本很长时(比如整本书或一份长的法律檔案),这个过程就会变得太慢,而且在计算机上运行成本太高。

而 DeepSeek 论文中提到的稀疏注意力机制不会专注每个单词,而是尝试通过只关注重要的单词来提升效率,就像是只读摘要而不是整本书一样。

戈苏斯对每经记者介绍说:" 为了做好这一点,NSA 引入了一种新方法来过滤不重要的单词,同时仍保留足够的上下文来理解完整含义。

它使用三种主要技术来实现这一点:

压缩:NSA 不会查看每个单词,而是将单词分组为 " 块 ",并为每个块创建摘要。可以将其想象成将一个段落变成一个简短的摘要。

选择:模型从文本中挑选出最应该关注的重要单词。就像在学习时,只突出显示教科书中的关键句子一样。

滑动視窗:尽管 NSA 总结并选择了单词,但它仍然会查看附近的单词,以确保不会错过细小但重要的细节。想象一下阅读一本书——人们不会只是从一页跳到下一页而不浏览附近的句子。

DeepSeek 认为,三部分策略使 NSA 速度更快,同时理解含义的能力与传统方法一样好(甚至更好)。"

图片来源:DeepSeek

有网友称,这是在教会 AI 学会 " 聪明的偷懒 ",像人类一样聪明地分配注意力,从而让长文的处理又快又准,不再是一个 " 死读书的呆子 "。虽然牺牲了一定的准确率,但是极大提升了效率,人腦就是这么干的。

戈苏斯还表示,DeepSeek 这次不仅是单纯的算法进步,它还对现有的计算机硬體进行了优化,以便 GPU 可以实现有效处理。

有科技媒体指出,DeepSeek 此次使用了 Triton 框架,而非英伟达专用库,这或许暗示了其在模型研发阶段已考虑适配更多类型的计算卡,为未来的开源和广泛应用奠定了基础。

熱門排行
  • 王治郅:杨瀚森主要的问题是速度 他的速度跟不上现代篮球的节奏 王治郅:杨瀚森主要的问题是速度 他的速度跟 郟君昊 | 2025-05-05
  • 贸易战烧进电影院:特朗普拟重税打击外国电影 逼好莱坞等回美拍片 贸易战烧进电影院:特朗普拟重税打击外国电影 習又夏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天亏掉6年工资,卖掉舍不得,不卖扛不住 贷款追高炒黄金的人后悔了!有人一天亏掉6年 寸飛蘭 | 2025-05-05
  • 手机电池突破8000mAh?硅碳技术的回旋镖:「折寿」换容量 手机电池突破8000mAh?硅碳技术的回旋镖:「折 衛青柏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天亏掉6年工资,卖掉舍不得,不卖扛不住 贷款追高炒黄金的人后悔了!有人一天亏掉6年 繁綺文 | 2025-05-05
  • 任天堂对Genki提起Switch 2商标侵权诉讼,后者回应称将严肃对待 任天堂对Genki提起Switch 2商标侵权诉讼,后 郜萌運 | 2025-05-05
  • 哪吒汽车APP和官网恢复正常 知情人士:之前断网因流量欠费 哪吒汽车APP和官网恢复正常 知情人士:之前断 袁曼雁 | 2025-05-05
  • 极越汽车 CEO 夏一平名下青岛/义乌两家公司被列入经营异常 极越汽车 CEO 夏一平名下青岛/义乌两家公司 集玲琳 | 2025-05-05
  • 全国经济第一大省明确,推动组建农商联合银行 全国经济第一大省明确,推动组建农商联合银行 佼昌翰 | 2025-05-05
  • 桑保利:亚马尔有配合意识&有点像梅西 姆巴佩更专注进球&更像C罗 桑保利:亚马尔有配合意识&有点像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 高露现身上海虹桥机场 黑色外套点缀亮色爱 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 vivo X90S曝光:处理器更新为天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懒癌”发病率上升,定期体检别忽视 “懒癌”发病率上升,定期体检别忽视 幸聽楓 | 2023-05-02
  • 曹操墓,里面都有啥? 曹操墓,里面都有啥? 衛青柏 | 2023-05-02
  • 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 宋慧乔获百想视后 韩素希发图手动加爱心表 賁芳蕤 | 2023-05-02
  • 十年了,他们终于要HE! 十年了,他们终于要HE! 惠惠君 | 2023-05-07
  • 中央部署经济工作,释放5大信号 中央部署经济工作,释放5大信号 郜萌運 | 2023-05-02
  • 高德上线手机弯道会车预警功能 高德上线手机弯道会车预警功能 習又夏 | 2023-05-02
  • 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露 賁芳蕤 | 2023-05-02
  • 等比例长大的童星,李兰迪算一个 等比例长大的童星,李兰迪算一个 郟君昊 | 2023-05-02
  • 《云襄传》终于抬上来啦,男O女A让人好上头! 《云襄传》终于抬上来啦,男O女A让人好上头! 集玲琳 | 2023-05-02
  • 高端国产车:军车血统,目前电动车越野的“天花板”? 高端国产车:军车血统,目前电动车越野的“天花 謝飛揚 | 2023-05-02
  • 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 这些被抓来做实验的流浪狗,最终拯救了无数糖 集玲琳 | 2023-05-02
  • 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 21家A股游戏公司2022年收入651亿 今年“游 衛青柏 | 2023-05-04
  • 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 普京签署总统令,批准对俄刑法典相关法条的修正案 普京签署总统令,批准对俄刑法典相关法条的修 集玲琳 | 2023-05-02
  • 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 信用风险释放趋缓,结构性风险需重点关注 — 袁曼雁 | 2023-05-02
  • 3699起 联想小新mini主机上架 13代酷睿标压处理器 3699起 联想小新mini主机上架 13代酷睿标压 習又夏 | 2023-05-05
  • 中银证券给予南京银行增持评级 中银证券给予南京银行增持评级 袁曼雁 | 2023-05-03
  • 解除资格!停止一切合作 解除资格!停止一切合作 佼昌翰 | 2023-05-02
  • 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 前董事长被免,天山生物全面进入“中植系”时 惠惠君 | 2023-05-02
  • 疯成这样,怎么还能被全网吹捧? 疯成这样,怎么还能被全网吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收购美国第一共和银行 摩根大通收购美国第一共和银行 謝飛揚 | 2023-05-02
  • 台剧赢麻了,又来一部8.9 台剧赢麻了,又来一部8.9 衛青柏 | 2023-05-02
  • 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 事关农村土地承包和农民权益,《农村土地承包 郟君昊 | 2023-05-02
  • 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 下降45分,上涨35分!34所自划线院校复试分数线 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好这件事是关键 "三高"已盯上青少年,做好这件事是关键 習又夏 | 2023-05-05
  • 五一档没一个能打的 五一档没一个能打的 集玲琳 | 2023-05-05
  • 恐怖韩剧下神坛,这次胆小可入 恐怖韩剧下神坛,这次胆小可入 袁曼雁 | 2023-05-05
  • 这剧是不是用ChatGPT写的呀? 这剧是不是用ChatGPT写的呀? 惠惠君 | 2023-05-02
  • 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 200户连夜疏散,原因让人愤怒!“损失超一亿”, 袁曼雁 | 2023-05-03
  • 性骚扰惯犯,滚出娱乐圈 性骚扰惯犯,滚出娱乐圈 謝飛揚 | 2023-05-05
  • 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的 佼昌翰 | 2023-05-02
  • 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 一个《长月烬明》倒了,《狐妖》《长相思》《 惠惠君 | 2023-05-02
  • 当年轻人开始不随份子钱 当年轻人开始不随份子钱 袁曼雁 | 2023-05-02
  • 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 张天爱假期晒“酷”存照 卷发披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 毕滢用8年时间成功逼宫?曾被传已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧乔获视后首次晒照,拿奖杯笑容温柔 宋慧乔获视后首次晒照,拿奖杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們