商业视点-"37大但人文艺术yongyuxun"-K1.537大但人文艺术yongyuxun多模态模型追平满血OpenAI o1，这次硅谷也坐不住了

K1.537大但人文艺术yongyuxun多模态模型追平满血OpenAI o1，这次硅谷也坐不住了_ZAKER新闻

唐尚珺何汉立摄影

文 | 竞合人工智能距离国产大模型做考研数学题 " 过线 " 刚过两个月，月之暗面在春节前一周，又扔出了一个分量十足的 " 王炸 " ——这一次，他们拿出了能媲美 Open AI 满血版 o1（Full Version，而非 preview）的 K1.5 多模态模型，在文字和视觉两大领域实现了 " 超英赶美 "。Kimi 官方刚一发布，X 网友的反应速度比想象中要快很多。无论是一衣带水的日本、大洋彼岸的美国，甚至富得流油的阿拉伯，他们无不惊艳于 Kimi 模型推理能力的进展，以及多模态能力的提升。这些感叹，是对中国 AI 事业进展最好的鼓励。再看发布时间，DeepSeek-R1 的上架时间还要略早一些。但就模态多样性来看，K1.5 是目前 OpenAI 之外，唯一一个实现 o1 正式版多模态推理的大模型。其含金量不言而喻。在更直接的性能实现方面，kimi k1.5 的测试报告显示，在 short-CoT 模式下，k1.5 已经大幅超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平，领先度达到 550%；long-CoT 模式下，Kimi k1.5 的数学、代码、多模态推理能力，与目前第一梯队的 OpenAI o1 满血版相比，也不遑多让。相较以往的闭源，Kimi 还首次发布了训练报告《Kimi k1.5：借助大语言模型实现强化学习的 Scaling》。从 Chatgpt 横空出世至今，中国 AI 厂商大多数时间里都在摸着 OpenAI 的石头过河。但从 K1.5 等国产大模型开始，我们大可发现，以往以欧美为中心的 AI 行业世界线。已经悄然发生变动。01 中国 AI 厂商的 " 源神 " 时刻近三个月，毫无疑问是月之暗面技术成果的集中收获期。去年 11 月，月之暗面发布了 k0-math 数学模型、12 月发布 k1 视觉思考模型，这是第三个月在 K 系列强化学习模型的重磅升级。相比国内厂商和用户的 " 沸腾 "，国外，尤其是硅谷专业人士的意见或许更能直接说明问题。首先是 OpenAI 等一线厂商，在 AGI 探索方面逐渐停滞。面对外界谣言，OpenAI 的 CEO 奥特曼直接发推辟谣，否认已经实现了 AGI 通用人工智能。同时下个月也不会部署 AGI。对于众多从业者和相关厂商而言，既是预期上的打击，同样也给了产品追逐的机会。与之形成对比的，则是面对月之暗面和 Deepseek 的最新推理模型成果，众多海外 AI 大 V 对此则相当兴奋。英伟达大佬 Jim Fan 当即发推感叹说，R1 不止是开放了模型，技术的共享也非常重要。根据他的对比，虽然 Kimi 和 DeepSeek 的论文的重点都在比较类似的发现，比如：不需要像 MCTS 那样复杂的树搜索。只需将思维轨迹线性化，然后进行传统的自回归预测即可；不需要另一个昂贵的模型副本的价值函数；无需密集奖励建模。尽可能依赖事实和最终结果。但二者仍然有比较明显的差异。如：DeepSeek 采用 AlphaZero 方法 - 纯粹通过 RL 引导，无需人工输入，即 " 冷启动 "。Kimi 采用 AlphaGo-Master 方法：通过即时设计的 CoT 跟踪进行轻度 SFT 预热。毫不夸张地说，起码在短链思维链，也就是短模型领域，K1.5 地领先度是断崖式的，已经很大程度超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平，领先达到 550%。可以看到，除了多模态的视觉能力稍有弱项，其他方面几乎与 OpenAI 处于同一梯队甚至隐隐压过一头，对其他国产友商已经明显拉开了差距。此外，如果从全球前沿大模型数学竞赛和编程竞赛基准测试来看，K1.5 延续了此前 K0-math 的优异性能，处于全球第一梯队。02 K1.5 的技术突破之路值得一提的是，以往月之暗面的技术发布，都是以闭源产品的形式，本次 K1.5，破天荒地将技术报告和训练细节也一并放出（地址：https://github.com/MoonshotAI/kimi-k1.5）。在月之暗面看来，"AGI 之旅才刚刚开始。我们想让更多技术人才了解我们在做的事情，加入我们一起做到更多。"透过这份技术力拉满的报告，我们可以一窥国产厂商在推理模型领域，如何实现对国际大厂的赶超。从目前放出的报告来看，最大的技术亮点之一，无疑是 "Long2Short" 训练方案。这里涉及到两个关键理念，长上下文 scaling 和改进的策略优化。具体而言，他们先利用最大可扩展到 128K 的上下文窗口，使得模型学会长链条思维。同时使用 partial rollout ——即通过重用大量以前的轨迹来采样新的轨迹，避免从头重新生成新轨迹的成本，以此提高训练效率。有基于此，他们将原本 " 长模型 " 的成果和参数，与小而高效的 " 短模型 " 进行合并，再针对短模型进行额外的强化学习微调。这样做的理由是，尽管长链推理（long-CoT）模型表现优异，但在测试时消耗的标记数量比标准短链推理（short-CoT）大模型更多。同时，他们推导出了一个具有 long-CoT 的强化学习公式，并采用在线镜像下降法的变体来实现稳健的策略优化。通过有效的采样策略、长度惩罚和数据配方的优化，他们进一步改进了该算法。此外，他们还用到了诸如最短拒绝采样和 DPO 等方式，以在有限的测试 token 预算下，最大程度提升模型性能。研究者观察到，模型在回答相同问题时生成的响应长度存在较大差异。基于此，他们设计了最短拒绝采样（Shortest Rejection Sampling）方法。该方法对同一个问题采样 n 次（实验中，n=8），并选择最短的正确响应进行监督微调。DPO 与最短拒绝采样类似，团队人员利用 Long CoT 模型生成多个响应样本。并选择最短的正确解决方案作为正样本，而较长的响应则被视为负样本，包括错误的较长响应和正确的较长响应。这些正负样本对构成了用于 DPO 训练的成对偏好数据。以目前的这套方案，可以在最大化保留长模型推理能力的前提下，有效释放短模型的高效推理和部署优势，规避长模型 " 精简模型后能力减弱 " 的问题。测试也能表明，使用 "Long2Short" 训练方案之后，K1.5 训练模型的效率提升十分明显。（越靠右上效率越高）。03 结语回望思考模型的技术路线，最早涉足该领域的 OpenAI，分别在去年 9 月、5 月推出了 GPT-4o、o1。它们分别代表了多模态理解和强化学习两个不同路线。对比过去两年，国内厂商发力追赶的速度已经今非昔比，Kimi 的后来居上已经足够说明一些问题，在一些细分领域，中国 AI 如今已经追平了与国外的差距，站在同一条起跑线上，其后的发展，定义权或许已经不在 OpenAI 手中。短短一个季度，Kimi 就从单纯的 " 会算 " 变成了 " 会看 "，并在以肉眼可见的速度集齐多模态，且隐隐有成为长板的趋势。据月之暗面官微信息，2025 年，Kimi 会继续沿着路线图，加速升级 k 系列强化学习模型，带来更多模态、更多领域的能力和更强的通用能力。让我们拭目以待。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:汤念祖

TOP1热点：男篮决赛美国 98:87 战胜法国获金牌

据悉，联合国负责政治和建设和平事务的副秘书长罗斯玛丽向安理会表示，乌克兰全国三分之一的地区布满未爆炸的地雷和集束炸弹，使儿童受到的影响尤为严重。有专家估计，在当前情况下，若派出500个排雷小组，也需要耗时757年才能完成乌克兰全境的排雷工作。。

以西安为例，“回流生”是指户籍在西安，学籍在外地，但又在西安参加考试的考生。有传言2023年10万西安中考生中有大量回流生，据说这部分考生多来自河南，数量少则1万多至4万。

TOP2热点：英特尔出售百万股 Arm 股份

奉江告诉记者，卖掉哥哥的老乡是诈骗公司的“小头头”，由于资历老，可以自由出入。一位熟悉情况的人士告诉新京报记者，缅甸“诈骗园区”有专门的“出人群”，园区不想要的那些人就会被挂到群里，寻找下家。

警方很快就在专业人士的帮助下，

TOP3热点：男子马拉松托拉破纪录摘金中国人も日本人も漢字を

2019年2月，国家烟草专卖局副局长赵洪顺被查，他被指利用职务便利在职务晋升方面为他人谋取利益，与不法私营企业主沆瀣一气，大搞权钱交易，严重破坏烟草系统的政治生态。最终他因受贿9032万余元被判无期徒刑。2021年1月23日，中央纪委国家监委宣传部、中央广播电视总台联合制作的电视专题片《正风反腐就在身边》透露，赵洪顺共借用了下属和私营企业主的三处住房，用来存放自己违纪违法所得的资产和物品。其中茅台酒就有2900多瓶，还有大量名人字画、玉石、手表、金条、古玩等礼品。