肥肥和胖胖_产经新闻_杨植麟和梁文锋，论文撞车了

杨植麟和梁文锋，论文撞车了_ZAKER新肥肥和胖胖闻

该校女排也经常出现在学校的官方介绍中，在2019年黑龙江省中学生排球锦标赛获得了冠军，在2021年黑龙江省中学生排球锦标赛中获得了亚军。

1在马斯克发布了他用 20 万张卡训出的 Grok3 的同一天，两篇与马氏大力出奇迹 " 相反 " 路线的论文也发表在了技术社区。在这两篇论文的作者名目里，各自有一个大家熟悉的名字：梁文锋，杨植麟。2 月 18 日，DeepSeek 和月之暗面几乎同时发布了他们各自最新的论文，而主题直接 " 撞车 " ——都是挑战 Transformer 架构最核心的注意力机制，让它能更高效的处理更长的上下文。而更有趣的是，两家公司的技术派明星创始人的名字出现在各自的论文和技术报告里。DeepSeek 发布的论文，标题名为：《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》。根据论文，它提出的新架构 NSA（原生稀疏注意力）在基准测试中，与全注意力机制相比，准确率相同或更高；处理 64k 标记序列时，速度可提高至 11.6 倍，训练也更高效，所需算力更少；在处理超长上下文的任务（如书籍摘要、代码生成、推理任务）中表现出色。与此前人们津津乐道的算法上的创新相比，DeepSeek 这一次把手伸向了最核心的注意力机制（attention）的改造上。Transformer 是今天所有大模型繁荣的基础，但它的核心算法注意力机制依然有先天的问题：拿读书做比喻，传统的 " 全注意力机制 " 为了理解和生成，会阅读文本里的每个词，并拿它与其他所有词作比较。这样导致处理文本越长它越复杂，技术越卡，甚至崩溃。此前学术界一直在提供各种解决的思路，NSA 通过真实环境的工程优化和实验，组装出了一个由三个环节组成的可以用在训练阶段的架构方案：它包括，1）语义压缩——不再是看每个词，而是分成一个组，也就是 " 块 "，在保留全局语义的同时将序列长度缩减至 1/k，同时引入位置编码来降低信息的损耗，进而将计算复杂度从 O ( n ² ) 降为 O ( n ² /k ) 。2）动态选择——模型以某种得分判断机制，从文本中挑出最多关注的词，对它们进行细粒度的计算。这种重要性采样策略在减少 75% 计算量的情况下仍能保持 98% 的细粒度信息。3）滑动窗口——前两者是摘要和划重点的话，滑动窗口就是查看最近的上下文信息，这样可以保持连贯性，而通过硬件级显存复用技术可以将内存访问频次降低 40%。这些思路每一个都不是 DeepSeek 的发明，但可以把它想象成 ASML 式的工作——这些技术元素已经存在，散落在各处，但工程上把它们组合在一起成为一个可以规模化的方案，新的算法架构，还没人做过。现在有人通过强大的工程能力做出来了一台 " 光刻机 "，其他人可以用这个来在真实工业环境里训练模型。而月之暗面在同天发布的论文，提出了一个在核心思想上非常一致的架构：MoBA。（MoBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS）从它的名字就可以看到，它同样使用了把 " 词 " 变成块的方法。在 " 切块 " 后，MoBA 里有个像 " 智能筛选员 " 一样的门控网络，它负责挑选与一个 " 块 " 最相关的 Top-K 个块，只对这些选中的块计算注意力。在实际实现过程中，MoBA 还结合了 FlashAttention（能让注意力计算更高效）和 MoE（专家混合模型）的优化手段。与 NSA 相比，它更强调灵活性，没有完全离开现在最主流的全注意力机制，而是设计了一套可以自由切换的方式，让这些模型可以在全注意力和稀疏注意力机制之间切换，给已有的全注意力的模型更多的适配空间。根据论文，MoBA 的计算复杂度随着上下文长度增加而优势明显。在 1M token 的测试中，MoBA 比全注意力快了 6.5 倍；到 10M token 时，则提速 16 倍。而且，它已经在 Kimi 的产品中使用，用来处理日常用户们的超长上下文的处理需求。杨植麟最初创办月之暗面受到关注的一个重要原因，是他的论文影响力和引用量，但 K1.5 论文之前，他最后一篇论文类的研究停留在 2024 年 1 月。而梁文锋虽然作为作者出现在 DeepSeek 最重要的模型技术报告里，但这些报告的作者名录几乎相当于 DeepSeek 的员工名录，几乎所有人都列在里面。而 NSA 的论文作者则只有几人。由此可以看出这两个工作对这两家公司创始人来说的重要性，以及对了解这两家公司技术路线的意义。另一个可以为这种重要性做注脚的细节是，有网友发现，arxiv 上 NSA 这篇论文的提交记录显示，它在 2 月 16 日提交，提交者正是梁文锋自己。2这不是月之暗面和 DeepSeek 第一次 " 撞车 "。在 R1 发布的同时，Kimi 难得的发布了 K 1.5 的技术报告，此前这家公司并不以对外展示它的技术思考为优先重点。当时这两篇论文同时把目标瞄准了 RL 推动的推理模型。事实上，仔细阅读这两篇技术报告，在 K1.5 的论文里，月之暗面对如何训练一个推理模型做了更详细的分享，甚至单从信息度和细节程度上，它是高过 R1 论文的。但之后 DeepSeek 的风潮掩盖掉了不少对这篇论文本身的讨论。一个可以作为印证的，是 OpenAI 最近难得发布的一篇对其 o 系列模型推理能力讲解的论文里，同时点了 DeepSeek R1 和 Kimi k1.5 的名字。"DeepSeek-R1 和 Kimi k1.5 通过独立研究显示，利用思维链学习（COT）方法，可显著提升模型在数学解题与编程挑战中的综合表现。" 也就是说，这是 OpenAI 自己选来用来对比的两个推理模型。" 大模型这套架构最神奇的一点我感觉就是它似乎自己就指出了前进的路线，让不同的人从不同的角度得出了相似的前进方向。"参与了 MoBa 核心研究的清华大学教授章明星在知乎上分享。他还提供了一个很有趣的对比。"DeepSeek R1 和 Kimi K1.5 都指向了 ORM based RL，不过 R1 从 Zero 开始，更加 " 存粹 " 或者说 "less structure" 一些，上线更早，同步开源模型。Kimi MoBA 和 DeepSeek NSA 再一次都指向了可以反向传递的 learned sparse attention，这一次 MoBA 更加 less structure 一些，上线更早，同步开源代码。"这两家的连续 " 撞车 " 有助于人们对比着更好理解强化学习的技术发展，以及更高效更长文本的注意力机制的进化方向。" 结合 R1 和 K1.5 一起看能更好的学习 Reasoning Model 怎么训一样，结合 MoBA 和 NSA 一起看能从不同侧面更好的理解我们对于—— Attention 中 sparsity 应当存在而且可以通过端到端训练习得——的相信。" 章明星写到。3在 MoBA 发布后，月之暗面的许欣然也在社交媒体上称，这是一个做了一年半的工作，现在开发者可以开箱即用。而选择此刻开源注定还是会被放在 DeepSeek 的 " 阴影 " 里讨论。有意思的是，在各家积极接入 DeepSeek 和开源自己的模型的今天，外界似乎总在第一时间想到月之暗面，对于 Kimi 是否会接入、模型是否会开源的讨论不停，月之暗面和豆包似乎成了两个仅剩的 " 异类 "。而现在看来，DeepSeek 对月之暗面的影响相比其他玩家是更加持续的，它带来了从技术路线到用户争夺全方位的挑战：一方面它证明了哪怕是进入到产品的竞争上，基础模型能力也依然是最重要的；另外，今天越来越清晰的另一个连锁反应是，腾讯的微信搜索和元宝的组合拳，正借 DeepSeek R1 的势头补上一次它之前错过的营销投放战，最终也是冲着 Kimi 和豆包而来。月之暗面的应对思路也就变得引人注目。其中开源是必须要做的一步。而看起来月之暗面的选择，是想要真正匹配 DeepSeek 的开源思路——目前在 DeepSeek 后出现的诸多开源大部分像是应激反应，它们还是用此前 Llama 时期的开源思路来跟随。事实上 DeepSeek 的开源与此前的已经不同，不再是 Llama 似的防守扰乱闭源对手式的开源，而是一种能带来明确收益的竞争策略。月之暗面最近传出内部 " 把 SOTA（state-of-the-art）结果做为目标 "，看起来是最接近这种新的开源模式的策略，要开的是最强的模型，最强的架构方法，这样反而会得到它一直渴望的在应用侧的影响力。根据两家的论文，MoBA 已经用在月之暗面的模型和产品上，NSA 也一样，它甚至让外界可以对 DeepSeek 接下来的模型有更明确预期。于是接下来的看点就是，月之暗面和 DeepSeek 用 MoBA 和 NSA 各自训练出的下一代模型，要不要再撞车一次，并且还是以开源的方式——这可能也是月之暗面在等待着的那个节点。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:孙寿康

TOP1热点：每天睡够8小时白天为何还犯困

公开资料显示，刘光源是河南省淮阳县人，1986年从郑州大学毕业后，进入外交部工作，先后在外交部非洲司、驻加纳大使馆、驻尼日利亚大使馆、外交部干部司任职。。

拿不出钱的王女士向纳雍县公安局求救。接到报警后，民警添加了阿贵的QQ，以便获取他的具体位置。看到民警QQ空间身穿制服的照片，阿贵立即删除了对方，“如果被公司看到我要被打死。”

TOP2热点：胡烨韬锐评男团现状

救援现场。图片来源/中国消防

乌克兰国家边境警卫队称，截至22日，已有约5000名瓦格纳战士在白俄罗斯境内。而根据瓦格纳方面此前透露的信息，预计将有1万名成员前往白俄罗斯。与此同时，Maxar技术公司的卫星图像显示，7月16日和21日拍摄的图像对比显示，白俄罗斯军事基地的储存设备有所增加。

TOP3热点：K总官宣与女友结婚欧亚尺码专线欧洲B1B1

李凯尔曾随母亲于2018年回到深圳寻亲图/大锤李凯尔Anderson微博

可是，让他没想到的是2018年开始，娇娇的表姐添加了她的联系方式。

TOP4热点：陈雨菲将不参加羽超总决赛刘禅站在板凳上曹安琪拉

在经济方面，金建希同样遭受质疑。据报道，2月1日，韩国最大在野党共同民主党正式推进检方对第一夫人金建希涉嫌股价操纵案的特别调查。特别工作组团长宋基宪表示，金建希通过操纵德意志汽车的股价，获得了相当于10.5亿韩元的利益。该党党鞭朴洪根在表示，虽然金建希的股价操纵嫌疑像滚雪球一样越滚越大，但尹锡悦政府检方的调查却一直进展缓慢，并批评称尹锡悦的法治仅适用于在野党和前政府人士。

十余具遇难者遗体已被送至齐齐哈尔市殡仪馆

TOP5热点：金赛纶想要的只是第二次机会HD100%VIEDIOSI

2013年6月，第五届中日韩央行行长会议在瑞士巴塞尔举行，时任中国人民银行行长周小川出席。

“从现场看，屋顶主体结构应该采用的是桁架或类似钢结构，上面铺设屋顶材料。安全性需要从多方面核查，比如结构荷载，构件连接，日常维护，周围环境影响，等等。如果建成时间长了，日常防水措施维护不到位，对安全性肯定是有影响的。”他表示。

TOP6热点：烟花炸伤右眼案已立为刑事案件BRANDILOVEMISSI...

7月10日，红星新闻记者联系到被害人姐姐娄女士，娄女士称其妹妹今年28岁，6月22日由北京至长春看望其高中同学，当天晚上在万达广场夜市买东西时，被一块从高空扔下来的砖头砸中身亡。娄女士称，警方告诉她犯罪嫌疑人系一名20多岁的江西男子。红星新闻记者多方获悉，此前该男子在6月17日从高处扔下过罐装可乐。目击者告诉记者，该男子在事发当日的前几个小时也曾扔下过砖头和饮料瓶，有人报警，且警方有过出警。