是谁给你开的花苞啊诗爸爸K1是谁给你开的花苞啊诗爸爸.5多模态模型追平满血OpenAI o1,这次硅谷也坐不住了_ZAKER新闻
K1是谁给你开的花苞啊诗爸爸.5多模态模型追平满血OpenAI o1,这次硅谷也坐不住了_ZAKER新闻
根据海外远程公证的相关规定,陈豪彬及时为张女士联系了当地的驻外使领馆并预约公证办理时间,实现了驻外使领馆、公证机构、张女士三方在线办理。成功办理后,公证处及时出具公证书并寄到了张女士在国内的女儿手中,解了燃眉之急。
文 | 竞合人工智能距离国产大模型做考研数学题 " 过线 " 刚过两个月,月之暗面在春节前一周,又扔出了一个分量十足的 " 王炸 " ——这一次,他们拿出了能媲美 Open AI 满血版 o1(Full Version,而非 preview)的 K1.5 多模态模型,在文字和视觉两大领域实现了 " 超英赶美 "。Kimi 官方刚一发布,X 网友的反应速度比想象中要快很多。无论是一衣带水的日本、大洋彼岸的美国,甚至富得流油的阿拉伯,他们无不惊艳于 Kimi 模型推理能力的进展,以及多模态能力的提升。这些感叹,是对中国 AI 事业进展最好的鼓励。再看发布时间,DeepSeek-R1 的上架时间还要略早一些。但就模态多样性来看,K1.5 是目前 OpenAI 之外,唯一一个实现 o1 正式版多模态推理的大模型。其含金量不言而喻。在更直接的性能实现方面,kimi k1.5 的测试报告显示,在 short-CoT 模式下,k1.5 已经大幅超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平,领先度达到 550%;long-CoT 模式下,Kimi k1.5 的数学、代码、多模态推理能力,与目前第一梯队的 OpenAI o1 满血版相比,也不遑多让。相较以往的闭源,Kimi 还首次发布了训练报告《Kimi k1.5:借助大语言模型实现强化学习的 Scaling》。从 Chatgpt 横空出世至今,中国 AI 厂商大多数时间里都在摸着 OpenAI 的石头过河。但从 K1.5 等国产大模型开始,我们大可发现,以往以欧美为中心的 AI 行业世界线。已经悄然发生变动。01 中国 AI 厂商的 " 源神 " 时刻近三个月,毫无疑问是月之暗面技术成果的集中收获期。去年 11 月,月之暗面发布了 k0-math 数学模型、12 月发布 k1 视觉思考模型,这是第三个月在 K 系列强化学习模型的重磅升级。相比国内厂商和用户的 " 沸腾 ",国外,尤其是硅谷专业人士的意见或许更能直接说明问题。首先是 OpenAI 等一线厂商,在 AGI 探索方面逐渐停滞。面对外界谣言,OpenAI 的 CEO 奥特曼直接发推辟谣,否认已经实现了 AGI 通用人工智能。同时下个月也不会部署 AGI。对于众多从业者和相关厂商而言,既是预期上的打击,同样也给了产品追逐的机会。与之形成对比的,则是面对月之暗面和 Deepseek 的最新推理模型成果,众多海外 AI 大 V 对此则相当兴奋。英伟达大佬 Jim Fan 当即发推感叹说,R1 不止是开放了模型,技术的共享也非常重要。根据他的对比,虽然 Kimi 和 DeepSeek 的论文的重点都在比较类似的发现,比如:不需要像 MCTS 那样复杂的树搜索。只需将思维轨迹线性化,然后进行传统的自回归预测即可;不需要另一个昂贵的模型副本的价值函数;无需密集奖励建模。尽可能依赖事实和最终结果。但二者仍然有比较明显的差异。如:DeepSeek 采用 AlphaZero 方法 - 纯粹通过 RL 引导,无需人工输入,即 " 冷启动 "。Kimi 采用 AlphaGo-Master 方法:通过即时设计的 CoT 跟踪进行轻度 SFT 预热。毫不夸张地说,起码在短链思维链,也就是短模型领域,K1.5 地领先度是断崖式的,已经很大程度超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平,领先达到 550%。可以看到,除了多模态的视觉能力稍有弱项,其他方面几乎与 OpenAI 处于同一梯队甚至隐隐压过一头,对其他国产友商已经明显拉开了差距。此外,如果从全球前沿大模型数学竞赛和编程竞赛基准测试来看,K1.5 延续了此前 K0-math 的优异性能,处于全球第一梯队。02 K1.5 的技术突破之路值得一提的是,以往月之暗面的技术发布,都是以闭源产品的形式,本次 K1.5,破天荒地将技术报告和训练细节也一并放出(地址:https://github.com/MoonshotAI/kimi-k1.5)。在月之暗面看来,"AGI 之旅才刚刚开始。我们想让更多技术人才了解我们在做的事情,加入我们一起做到更多。"透过这份技术力拉满的报告,我们可以一窥国产厂商在推理模型领域,如何实现对国际大厂的赶超。从目前放出的报告来看,最大的技术亮点之一,无疑是 "Long2Short" 训练方案。这里涉及到两个关键理念,长上下文 scaling 和改进的策略优化。具体而言,他们先利用最大可扩展到 128K 的上下文窗口,使得模型学会长链条思维。同时使用 partial rollout ——即通过重用大量以前的轨迹来采样新的轨迹,避免从头重新生成新轨迹的成本,以此提高训练效率。有基于此,他们将原本 " 长模型 " 的成果和参数,与小而高效的 " 短模型 " 进行合并,再针对短模型进行额外的强化学习微调。这样做的理由是,尽管长链推理(long-CoT)模型表现优异,但在测试时消耗的标记数量比标准短链推理(short-CoT)大模型更多。同时,他们推导出了一个具有 long-CoT 的强化学习公式,并采用在线镜像下降法的变体来实现稳健的策略优化。通过有效的采样策略、长度惩罚和数据配方的优化,他们进一步改进了该算法。此外,他们还用到了诸如最短拒绝采样和 DPO 等方式,以在有限的测试 token 预算下,最大程度提升模型性能。研究者观察到,模型在回答相同问题时生成的响应长度存在较大差异。基于此,他们设计了最短拒绝采样(Shortest Rejection Sampling)方法。该方法对同一个问题采样 n 次(实验中,n=8),并选择最短的正确响应进行监督微调。DPO 与最短拒绝采样类似,团队人员利用 Long CoT 模型生成多个响应样本。并选择最短的正确解决方案作为正样本,而较长的响应则被视为负样本,包括错误的较长响应和正确的较长响应。这些正负样本对构成了用于 DPO 训练的成对偏好数据。以目前的这套方案,可以在最大化保留长模型推理能力的前提下,有效释放短模型的高效推理和部署优势,规避长模型 " 精简模型后能力减弱 " 的问题。测试也能表明,使用 "Long2Short" 训练方案之后,K1.5 训练模型的效率提升十分明显。(越靠右上效率越高)。03 结语回望思考模型的技术路线,最早涉足该领域的 OpenAI,分别在去年 9 月、5 月推出了 GPT-4o、o1。它们分别代表了多模态理解和强化学习两个不同路线。对比过去两年,国内厂商发力追赶的速度已经今非昔比,Kimi 的后来居上已经足够说明一些问题,在一些细分领域,中国 AI 如今已经追平了与国外的差距,站在同一条起跑线上,其后的发展,定义权或许已经不在 OpenAI 手中。短短一个季度,Kimi 就从单纯的 " 会算 " 变成了 " 会看 ",并在以肉眼可见的速度集齐多模态,且隐隐有成为长板的趋势。据月之暗面官微信息,2025 年,Kimi 会继续沿着路线图,加速升级 k 系列强化学习模型,带来更多模态、更多领域的能力和更强的通用能力。让我们拭目以待。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:郑义
TOP1热点:普通人得到《死亡笔记》被发现的几率有多大?
来到异国他乡,留学生需要适应新的语言环境和文化氛围。想要平稳应对文化语言差异所带来的挑战,离不开良好的心理状态。面对不同语言和文化差异怎么办?。
TOP2热点:年轻人涌入辽宁阜新抢万元低价房,鹤岗、阜新这类小城的吸引力在哪?又有哪些风险和弊端?
作为真实世界在虚拟世界中的映射,虚拟人既是虚拟世界的基础,也是用户进入虚拟世界的一张“通行证”。
TOP3热点:如果能回到过去或去到未来跟自己交谈一小时,你会说什么?欧亚尺码专线欧洲b1b1
建设教育强国,龙头是高等教育。高水平研究型大学作为国家战略科技力量的重要组成部分,要把发展科技第一生产力、培养人才第一资源、增强创新第一动力更好结合起来,发挥基础研究深厚、学科交叉融合的优势,努力成为基础研究的主力军。为此建议:
TOP4热点:你第一次出国旅行是什么时候?当时你的心情是怎样的?尝到了甜头两人每天都会想方设法
“传统产业不是不可以发展,关键是怎么实现高质量发展,没有科技赋能的印刷只能算是粗加工。”龙港市印刷包装行业协会执行秘书长梁孝克感慨。
5月31日,司法部向社会公开295家公证机构与驻外使领馆共同开展海外远程视频公证,让公证服务惠及更多旅居海外的中国公民。
TOP5热点:当前有哪些被高估、低估的国家和地区?噼里啪啦完整版高清免费观看
根据海外远程公证的相关规定,陈豪彬及时为张女士联系了当地的驻外使领馆并预约公证办理时间,实现了驻外使领馆、公证机构、张女士三方在线办理。成功办理后,公证处及时出具公证书并寄到了张女士在国内的女儿手中,解了燃眉之急。
TOP6热点:普通人得到《死亡笔记》被发现的几率有多大?503
在浙江省慈溪市,有一支“小巷检察官”队伍,他们常年深入基层一线,积极践行新时代“枫桥经验”,通过检察监督“治未病”,及时化解群众身边的现实隐患和矛盾纠纷。
相对资源闲置,村民们落后的观念更让朱有勇焦急,澜沧全县人均受教育年限仅为6.3年。
TOP7热点:是什么让你突然有了减肥的意念?金瓶春梦噼里啪啦国语在线播放
许多经济学家认为,德国通货膨胀率的高峰已过。“然而,由于年初的高通胀率,2023年德国整体通胀率可能还是超过5%。”德国宏观经济与商业周期研究所(IMK)科学主任塞巴斯蒂安・杜利安表示。
TOP8热点:众多武侠作品中,你认为谁是最有「侠义精神」的人?hennessy女rapper
心无百姓莫为“官”的人民温度。群众利益无小事,一枝一叶总关情。信访工作的首义,在于时刻把自己看成人民中的一员,把心贴近人民。衡量领导干部对人民群众的感情,最基本的标准就是看为人民群众做了多少好事,办了多少实事,解了多少难题。对老百姓来说,他们身边每一件琐碎的小事,可以说都是实实在在的大事,有的甚至还是急事、难事。新时代学习践行“浦江经验”,就要增强“时时放心不下”的责任感,把人民立场作为领导干部下访接访的根本立场,把人民至上作为领导干部下访接访的价值追求,在走好新时代党的群众路线中了解民情、集中民智、维护民利、凝聚民心,千方百计解决好人民群众急难愁盼问题。
TOP9热点:同为《英雄联盟》新手「御三家」,为什么盖伦和寒冰使用率一直保持很高,而瑞兹却在排位和比赛中都难觅踪影?可以随便看内部位的RPG手游
尼克说:“研发提升软硬件技术,最终的落脚点还是在内容上。我希望用VR技术创作出符合当代人视听需求的高科技电影,让包括中国戏曲在内的中华优秀传统文化通过VR技术在全世界广泛传播。”
海峡论坛・海峡百姓论坛上,千余名来自海峡两岸的宗亲贤达、姓氏文化研究专家学者,以“中华文化,共同根脉”为议题共话两岸亲情;
TOP10热点:怎么看待贵阳23亿身家女首富,13个月被骗5400万?三十如狼四十如虎那五十呢
“只要想脱贫致富、渴望学习实用技术的当地农民,都可报名参加,没有任何年龄、学历限制。”全国职校首家院士专家技能实训班开班,“毕业”成绩就是用所学作物的种植产量或所饲养畜禽的生长情况来说话。
3月起,新疆文化和旅游厅组织各地州市文旅推广人赴广州、厦门、杭州、南京、上海等地开展文化旅游推介活动,分别与36家疆外旅行社签订战略合作协议,预计“引客入疆”3000多万人次,签约金额1亿元。