科技动态-"日本老熟女乱伦"-K1.5多模态模型追平满血O日本老熟女乱伦penAI o1,这次硅谷也坐不住了_ZAKER新闻

日本老熟女乱伦K1.5多模态模型追平满血O日本老熟女乱伦penAI o1,这次硅谷也坐不住了_ZAKER新闻

日本老熟女乱伦K1.5多模态模型追平满血O日本老熟女乱伦penAI o1,这次硅谷也坐不住了_ZAKER新闻

K1.5多模态模型追平满血O日本老熟女乱伦penAI o1,这次硅谷也坐不住了_ZAKER新闻

新浪科技讯北京时间7月21日晚间消息,据报道,英国反垄断监管机构“竞争与市场管理局”(CMA)负责人萨拉·卡德尔(SarahCardell)今日表示,CMA计划重新评估

文 | 竞合人工智能距离国产大模型做考研数学题 " 过线 " 刚过两个月,月之暗面在春节前一周,又扔出了一个分量十足的 " 王炸 " ——这一次,他们拿出了能媲美 Open AI 满血版 o1(Full Version,而非 preview)的 K1.5 多模态模型,在文字和视觉两大领域实现了 " 超英赶美 "。Kimi 官方刚一发布,X 网友的反应速度比想象中要快很多。无论是一衣带水的日本、大洋彼岸的美国,甚至富得流油的阿拉伯,他们无不惊艳于 Kimi 模型推理能力的进展,以及多模态能力的提升。这些感叹,是对中国 AI 事业进展最好的鼓励。再看发布时间,DeepSeek-R1 的上架时间还要略早一些。但就模态多样性来看,K1.5 是目前 OpenAI 之外,唯一一个实现 o1 正式版多模态推理的大模型。其含金量不言而喻。在更直接的性能实现方面,kimi k1.5 的测试报告显示,在 short-CoT 模式下,k1.5 已经大幅超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平,领先度达到 550%;long-CoT 模式下,Kimi k1.5 的数学、代码、多模态推理能力,与目前第一梯队的 OpenAI o1 满血版相比,也不遑多让。相较以往的闭源,Kimi 还首次发布了训练报告《Kimi k1.5:借助大语言模型实现强化学习的 Scaling》。从 Chatgpt 横空出世至今,中国 AI 厂商大多数时间里都在摸着 OpenAI 的石头过河。但从 K1.5 等国产大模型开始,我们大可发现,以往以欧美为中心的 AI 行业世界线。已经悄然发生变动。01 中国 AI 厂商的 " 源神 " 时刻近三个月,毫无疑问是月之暗面技术成果的集中收获期。去年 11 月,月之暗面发布了 k0-math 数学模型、12 月发布 k1 视觉思考模型,这是第三个月在 K 系列强化学习模型的重磅升级。相比国内厂商和用户的 " 沸腾 ",国外,尤其是硅谷专业人士的意见或许更能直接说明问题。首先是 OpenAI 等一线厂商,在 AGI 探索方面逐渐停滞。面对外界谣言,OpenAI 的 CEO 奥特曼直接发推辟谣,否认已经实现了 AGI 通用人工智能。同时下个月也不会部署 AGI。对于众多从业者和相关厂商而言,既是预期上的打击,同样也给了产品追逐的机会。与之形成对比的,则是面对月之暗面和 Deepseek 的最新推理模型成果,众多海外 AI 大 V 对此则相当兴奋。英伟达大佬 Jim Fan 当即发推感叹说,R1 不止是开放了模型,技术的共享也非常重要。根据他的对比,虽然 Kimi 和 DeepSeek 的论文的重点都在比较类似的发现,比如:不需要像 MCTS 那样复杂的树搜索。只需将思维轨迹线性化,然后进行传统的自回归预测即可;不需要另一个昂贵的模型副本的价值函数;无需密集奖励建模。尽可能依赖事实和最终结果。但二者仍然有比较明显的差异。如:DeepSeek 采用 AlphaZero 方法 - 纯粹通过 RL 引导,无需人工输入,即 " 冷启动 "。Kimi 采用 AlphaGo-Master 方法:通过即时设计的 CoT 跟踪进行轻度 SFT 预热。毫不夸张地说,起码在短链思维链,也就是短模型领域,K1.5 地领先度是断崖式的,已经很大程度超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平,领先达到 550%。可以看到,除了多模态的视觉能力稍有弱项,其他方面几乎与 OpenAI 处于同一梯队甚至隐隐压过一头,对其他国产友商已经明显拉开了差距。此外,如果从全球前沿大模型数学竞赛和编程竞赛基准测试来看,K1.5 延续了此前 K0-math 的优异性能,处于全球第一梯队。02 K1.5 的技术突破之路值得一提的是,以往月之暗面的技术发布,都是以闭源产品的形式,本次 K1.5,破天荒地将技术报告和训练细节也一并放出(地址:https://github.com/MoonshotAI/kimi-k1.5)。在月之暗面看来,"AGI 之旅才刚刚开始。我们想让更多技术人才了解我们在做的事情,加入我们一起做到更多。"透过这份技术力拉满的报告,我们可以一窥国产厂商在推理模型领域,如何实现对国际大厂的赶超。从目前放出的报告来看,最大的技术亮点之一,无疑是 "Long2Short" 训练方案。这里涉及到两个关键理念,长上下文 scaling 和改进的策略优化。具体而言,他们先利用最大可扩展到 128K 的上下文窗口,使得模型学会长链条思维。同时使用 partial rollout ——即通过重用大量以前的轨迹来采样新的轨迹,避免从头重新生成新轨迹的成本,以此提高训练效率。有基于此,他们将原本 " 长模型 " 的成果和参数,与小而高效的 " 短模型 " 进行合并,再针对短模型进行额外的强化学习微调。这样做的理由是,尽管长链推理(long-CoT)模型表现优异,但在测试时消耗的标记数量比标准短链推理(short-CoT)大模型更多。同时,他们推导出了一个具有 long-CoT 的强化学习公式,并采用在线镜像下降法的变体来实现稳健的策略优化。通过有效的采样策略、长度惩罚和数据配方的优化,他们进一步改进了该算法。此外,他们还用到了诸如最短拒绝采样和 DPO 等方式,以在有限的测试 token 预算下,最大程度提升模型性能。研究者观察到,模型在回答相同问题时生成的响应长度存在较大差异。基于此,他们设计了最短拒绝采样(Shortest Rejection Sampling)方法。该方法对同一个问题采样 n 次(实验中,n=8),并选择最短的正确响应进行监督微调。DPO 与最短拒绝采样类似,团队人员利用 Long CoT 模型生成多个响应样本。并选择最短的正确解决方案作为正样本,而较长的响应则被视为负样本,包括错误的较长响应和正确的较长响应。这些正负样本对构成了用于 DPO 训练的成对偏好数据。以目前的这套方案,可以在最大化保留长模型推理能力的前提下,有效释放短模型的高效推理和部署优势,规避长模型 " 精简模型后能力减弱 " 的问题。测试也能表明,使用 "Long2Short" 训练方案之后,K1.5 训练模型的效率提升十分明显。(越靠右上效率越高)。03 结语回望思考模型的技术路线,最早涉足该领域的 OpenAI,分别在去年 9 月、5 月推出了 GPT-4o、o1。它们分别代表了多模态理解和强化学习两个不同路线。对比过去两年,国内厂商发力追赶的速度已经今非昔比,Kimi 的后来居上已经足够说明一些问题,在一些细分领域,中国 AI 如今已经追平了与国外的差距,站在同一条起跑线上,其后的发展,定义权或许已经不在 OpenAI 手中。短短一个季度,Kimi 就从单纯的 " 会算 " 变成了 " 会看 ",并在以肉眼可见的速度集齐多模态,且隐隐有成为长板的趋势。据月之暗面官微信息,2025 年,Kimi 会继续沿着路线图,加速升级 k 系列强化学习模型,带来更多模态、更多领域的能力和更强的通用能力。让我们拭目以待。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:范长江

TOP1热点:遇见你之后,我的世界从此被你照亮

“截至7月20日,中国尿素均价为2345元/吨,较年内低点已上涨13.01%。”回顾近年来尿素的价格走势及成因,卓创资讯分析师耿赛称,2021年国内尿素受原料成本上涨和国际行情利好带动,价格开始上涨,到2022年6月价格涨至近两年高点。但下半年随着原料价格下滑,尿素市场价格开始走弱,到2023年5月底价格降至近两年低位。。

盘和林认为,城中村改造项目为民间资本带来投资机会,在一定程度上激励民间投资。

TOP2热点:当代语言艺术

2015年12月10日,药明康德完成私有化并从美国纽交所退市之时,其公司股票市值仅33亿美元,折合人民币210亿元左右,此时药明康德在美国股市市盈率为38.45倍,市净率3.61倍。

和视频一起发布的,还有中山润田的谴责声明,其称公司实际控制人姚振华到中炬高新总部调研生产经营情况被拒之门外,两方僵持十余分钟仍未予以放行,导致调研工作被迫搁置。相关股东蓄意破坏上市公司的正常经营秩序,影响恶劣,后果严重。

TOP3热点:离谱,开局就给九十万豆内裤奇缘日本有码

出品:新浪财经上市公司研究院

未来,台积电可能会更加仰赖先进制程:2023年资本支出中,先进制程技术将占总额的70%~80%,成熟特殊技术占10%~20%,剩余分配给高级封装、测试以及其它项目。

TOP4热点:遇见你之后,我的世界从此被你照亮а√中文在线资源库

平安证券指出,近期央行、金融监管总局延长金融支持房地产有关政策期限,央行代表在2023年上半年金融统计数据新闻发布会上相关发言,全面涉及保交楼、房企融资、租赁住房、购房需求、存量房贷等内容,其中着重强调贷款适用期限延长、支持刚性和改善性住房需求、鼓励存量房贷调整,体现政策托底、呵护市场态度,释放积极信号。结合过往房地产周期、央行权责范围,预计政策调整更多围绕限贷、首付比例、房贷利率等方向。考虑多数低能级城市政策已相对宽松,未来政策空间或更加聚焦核心一二线城市。

本公布乃对高等法院于2023年5月16日就两宗于中国香港提呈的清盘呈请(其中一份呈请已撤回)颁发的认可令(载于日期为2023年5月19日的公布)作出补充。

TOP5热点:对峙前线最强配装玩法教学高柳

作为全球规模最大的芯片制造企业,从10纳米制程开始,台积电便在芯片代工领域遥遥领先。排在台积电之后的则有三星、联华电子和格芯等,苏姿丰并未透露任何候选公司的名字。

第三种,信息不对称假说,即由于公司的管理者与市场投资者所持有存在信息差,导致公司估值被低估。管理层则会通过分拆,实现公司整体估值提升。

TOP6热点:《体考是你的谎言》年轻 子2理论

食品饮料行业涨超2%

此外,经济学家们对不包括食品和能源在内的所谓的核心PCE在明年上半年的降幅预期也超过上个月调查。他们还预计,

TOP7热点:⚡草东没有Counting Stars⚡(完整版)红领巾911爆料

虽是独角兽,但站在机构角度来看,投资英矽智能也实属充满“开盲盒”的意思。从当前公司的盈利模式来看,英矽智能为药企提供AI相关的软件或解决方案,为药企提供药物发现服务,按需收费。

会议授牌仪式由山西白求恩医院(山西医学科学院)副院长、山西省药理学会药物临床试验专业委员会主任委员张莉芸教授主持,山西白求恩医院(山西医学科学院)党委副书记、院长刘先胜教授为战略合作企业授牌,山西迪安总经理王珏参加本次授牌仪式。

TOP8热点:当不同影视剧中女主华丽转身?这三个经典改造片段你们记得吗?特级毛卡片不收费

食品饮料行业涨超2%

未来,台积电可能会更加仰赖先进制程:2023年资本支出中,先进制程技术将占总额的70%~80%,成熟特殊技术占10%~20%,剩余分配给高级封装、测试以及其它项目。

TOP9热点:【复仇爽剧】小雪害女主失去工作,小绿登场27报爱爱动态图

浩德控股(08149)发布公告,该公司于2016年10月17日(股份开始于GEM上市之日)采纳现有购股权计划,且该计划于该日生效,为期十年。

与IPO项目承销总额在50亿元-100亿元的六家券商相比,国元证券的佣金率显著偏高。wind显示,

TOP10热点:真正意义上的战神!为啥还有人血条越打越多的?吃瓜爆料qq群免费进最新2023

李革和赵宁分别持有该公司815万股以及118.8万股股份,持股比例分别为1.45%以及0.21%,两人为配偶关系。退市的药明康德估值32.3亿美元,估值大约210亿元。据此粗略推测,李革家族财富约为3.5亿元左右。随着药明系不断分拆上市,公开资料显示,李革价值曾于2021年以710亿元财富入选胡润全球富豪榜。

浩德控股(08149)发布公告,该公司于2016年10月17日(股份开始于GEM上市之日)采纳现有购股权计划,且该计划于该日生效,为期十年。

发布于:佛山三水区

推荐阅读

为您推荐中
暂时没有更多内容了……