实时访谈-"为什么要手先进去扣"- Kimi向Open AI为什么要手先进去扣发起冲击

Kimi向Open AI为什么要手先进去扣发起冲击_ZAKER新闻

公告原文如下：

作者 | 刘宝丹编辑 | 周智宇5 天前，炙手可热的 AI 独角兽公司创始人杨植麟陷入一场仲裁纠纷，他坚定选择了依法抗辩。AI 大模型正处于技术追赶的关键阶段，他要把重心放在技术和产品上。一年前的今天，Kimi 正式面向全社会开放服务。一年后，Kimi 迎来重磅技术迭代。11 月 16 日，杨植麟在媒体沟通会上表示，Scaling 范式已经发生变化，公司接下来的重点是基于强化学习去 "Scale"。Scaling 是支撑 AI 技术在过去几年发展的根本原因，但并不是把模型做得更大就好，核心是找到 Scaling 的有效方法。杨植麟表示，简单去预测下一个 token，其实有一定的局限性，我们希望 AI 能够去探索，接下来很重要的一个东西就是让 AI 具备思考的能力。会上，月之暗面发布了最新的数学模型 k0 — math，该模型主要通过数学场景去培养和训练 AI 深度思考的能力。这是 Kimi 推出的首款推理能力强化模型。Kimi 将苗头对准 OpenAI 的最新技术。在多项基准能力测试中，k0-math 的数学能力可对标 OpenAI 的 o1 系列。比如，在中考、高考、考研以及包含入门竞赛题的 MATH 等 4 个数学基准测试中，k0-math 初代模型成绩超过 o1-mini 和 o1-preview 模型。不过，追赶 OpenAI 并没有那么容易。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中，k0-math 初代模型的表现分别达到了 o1-mini 最高成绩的 90% 和 83%。目前，月之暗面已经开始在 k0-math 上做产品化，公司将强化学习用到 Kimi 探索版，让它做更复杂的搜索。据杨植麟介绍，Kimi 探索版在搜索意图、信源分析、链式思考方面表现显著。同时，数学本身有更广泛的应用场景，月之暗面计划把 k0 — math 应用到教育场景，包括 K12、大学甚至是竞赛。过去一年多，月之暗面经历了飞速发展，无论是产品技术还是估值，都成为最受瞩目的 AI 独角兽公司。2023 年 3 月，月之暗面成立；11 月，Kimi 智能助手宣布全面开放，今年初，该产品因 " 长文本 " 出圈，诞生 Kimi 概念股，受到广泛关注。截至目前，月之暗面已完成四次融资，阿里、腾讯纷纷入股，公司估值超过 200 亿元。杨植麟在会上透露，Kimi 在 10 月月活超过 3600 万，而且还在持续更快的增长。业内人士分析，Kimi 是仅次于豆包的 AI 应用，目前处于第一梯队，不过，相对国外几亿量级的用户而言，Kimi 还有很长一段路需要追赶。公司已将 Scaling 范式切换到强化学习，华尔街见闻获悉，公司的多模态产品已经处于内测当中，预计很快会对外公布，这些动作无疑将带来更多用户。在这场全球 AI 竞赛中，杨植麟要带领月之暗面在一个裹挟着巨大希望和时刻被质疑的行业里，闯出一条通往 AGI 的路，这场战役才刚刚开始。以下为交流会实录（经编辑）：问：数据会不会成为比较大的挑战，怎么判断哪些数据可以用，哪些有价值？杨植麟：这个问题对于强化学习来讲是一个核心问题，如果是像以前做 Next — Token prediction，它是一个静态数据，相对来说，这些技术会更成熟一些。但是对强化学习来讲，所有的学习数据可能都是自己生成的，就会对奖励模型效果提出挑战。对于这个问题，核心是怎么更好地训练奖励模型，设置奖励的机制，如果做得足够好话，一定程度上是可以被解决的。有点像以前的（pretraining）你还要做很多的对齐工作，我觉得其实对强化学习来说也是一样的。问：对于强化学习，怎么平衡数据、算力、算法？杨植麟：我觉得 AI 的发展就是一个荡秋千的过程，你会在两种状态之间来回切换，一种状态就是算法数据是非常 ready，但是你的算力不够。所以你要做更多的工程，把 infra 做得更好，它就能够持续地提升。我觉得其实从 transformer 诞生到 GPT4，其实更多的矛盾就是我怎么能够 Scale，但是你可能在算法和数据上可能没有本质的问题。今天，当你 Scale 差不多的时候，你会发现我再加更多的算力，并不一定能直接解决这个问题，核心是，因为你没有高质量的数据，小几十 G 的 token 是人类互联网积累了 20 多年的上限。这个时候要做的事情，就是通过算法的改变，让这个东西不会成为瓶颈。所有的好算法就是跟 Scaling 做朋友，如果你的算法能够释放 Scaling 的潜力，它就会持续变得更好。我们从很早就开始做强化学习相关的东西，我觉得这个也是接下来很重要的一个趋势，通过这种方式去改变你的目标函数，改变你的学习的方式，让它能持续的 Scale。问：这个产品如果一至两周之后放到 Kimi 探索版里，用户可以选择用这个东西，还是你们会根据用户的提问来分配模型？怎么去平衡成本问题？杨植麟：这个问题特别好，接下来的版本大概率会让用户自己去选择。早期通过这种方式可以更好地分配或者更好地满足用户的预期。这里面最终可能还是一个技术问题，两个点，一个点是能够动态地给它分配最优的算力。如果模型足够聪明的话，简单的问题它的思考时间会更短。但是它可能还不是到最优的点，我觉得它还有更优，这是我们通过算法迭代去做的。长期来讲，第二个点是成本也是不断下降的过程。比如说，今年如果达到去年 GPT4 模型的水平，可能只需要十几 B 的参数就能做到。所以我觉得整个行业先做大或者做小，是这样的普遍普世的规律。问：怎么看待 AI 创业公司被收购，人才回流大的现象？杨植麟：这个问题我们没有遇到，但可能有一些别的公司遇到。我觉得倒也正常，行业发展进入了一个新的阶段，它从一开始有很多公司在做。变成了现在少一点的公司在做，接下来大家做的东西会逐渐不一样，我觉得这是必然的规律。我们主动选择做了业务的减法，你应该聚焦一些重要的事情，把一个产品做好，做到极致是最重要的。在几个大模型创业公司里，我们始终保持人数最少，保持卡和人的比例是最高的，我觉得这个是非常关键的。我们不希望把团队扩那么大，太大对创新有致命性伤害。如果想把团队保持在一定的规模，最好的方式是业务上做一些减法。另外一点，我们也根据美国市场的情况去判断，哪个业务最后做大的概率更高，我们聚焦在上限最高的事情，而且跟我们 AGI 的 misson 也最相关。问：多模态我们一直不做的原因是什么？杨植麟：我们几个多模态的能力在内测。我觉得 AI 接下来最重要的是思考和交互这两个能力，思考的重要性远大于交互，不是说交互不重要，我觉得思考会决定上限，交互我觉得是一个必要条件，比如说 vision 的能力，如果没有 vision 的能力没法做交互。我觉得他们两个不太一样，多模态肯定是必要的，但是我觉得是思考决定它的上限。问：怎么看自己跟豆包的竞争？杨植麟：我们还是更希望关注怎么能给用户带来真正的价值，不希望过多去关注竞争本身，因为竞争本身并不产生价值。deliver 更好的技术和产品，给用户创造更大的价值，这是我们现在最核心的问题。我们会更聚焦在，怎么提升模型的思考推理能力，通过这个东西给用户带来更大的价值。我觉得，只要有人实现 AGI，它都是非常好的结果。问：Kimi 用是你们自己的基础模型，还是开源？杨植麟：我们自己在做。提问：出海怎么想？杨植麟：我觉得先聚焦，然后全球化，需要更耐心一点。问：大模型的投流的问题确实受关注，Kimi 投了上百万的广告，统计的金额四五亿，我们在投流这块是什么策略？杨植麟：第一数据不完全准确。第二，对我们来讲最核心的是把留存和 getting growth 做好。适当的投放是需要的，但是需要平衡好这几个东西之间的关系。问：留存到多少会满意？杨植麟：永无止境。问：至少 RIO 需要为正吧？杨植麟：看怎么衡量吧，这个东西肯定需要去算，我们也会持续地提升。我们的好处是，跟技术的进展高度正相关。问：投流成本很高？Kimi 怎么能把成本收回来，怎么做良性的商业化？杨植麟：对我们来说，现在最关键的还是留存，我觉得这个还是需要看得再长远一些。问：美国预训练的 Scale 遇到瓶颈，对于中国公司来说是好事还是坏事？能不能对未来做一些预测？杨植麟：对我们来说它有可能是一个好事。假设你一直 Pre-Training（预训练），你的预算今年 1B、明年 10B 或者 100B，它不一定可持续。当然做强化学习也要 Scaling，只是说 Scaling 的起点很低，可能在一段时间内你的算力就不会是瓶颈，这个时候创新能力是更重要的，在这种情况下，我觉得对我们反而是一个优势。