国产农村妇女精品一二区推特热帖：k1.5 很牛，因国产农村妇女精品一二区为借鉴了 UCLA 与 CMU 合作团队的这项技术_ZAKER新闻
推特热帖：k1.5 很牛，因国产农村妇女精品一二区为借鉴了 UCLA 与 CMU 合作团队的这项技术_ZAKER新闻
除了对台军事施压、对美拒止作战外，分析称，解放军在台海周边演练，也是对日本的警讯。因为日本资源贫乏，其生命线，也是补给线，都要经过台海，解放军封锁台海或是巴士海峡，便能掐住日本咽喉，所以日本非常关注。
2025 年 1 月 20 日 Kimi k1.5 正式发布，伴随着技术报告的公布，有网友表示：" 这应该是全球范围内，除 OpenAI 之外的公司首次实现 o1 正式版的多模态推理性能了吧！"一时间，Kimi k1.5 成了话题王者。但在一个月后的 2 月 24 日，X 上出现了一篇关于 Kimi k1.5 的技术爆料帖，博主直言 k1.5 所用到的强化学习算法，其实是借鉴了自己在 24 年 5 月提出的一种名为 SPPO 的技术。消息一出，瞬间吸引了数万人关注。Kimi k1.5 背后的 SPPO 技术在这则爆料中，博主 Yue Wu 先是对 SPPO 进行了简单解释，并且附上了相关论文（https://arxiv.org/abs/2405.00675），简单来说，SPPO 是一种自博弈算法，最初的动机来源于刻画广泛意义上的人类偏好，并且使用了如下图所示的平方损失函数：值得一提的是，点开论文链接，你会发现原来 Yue Wu 和 Zhiqing Sun 同为这篇文章的第一作者。紧接着，他开始对 SPPO 技术进行解析：通过迭代求解上式中的 theta_t，我们可以得到一个与人类偏好对齐良好的语言模型。SPPO 使用胜率（红色部分）作为奖励，并用常数近似基线（蓝色部分）。让我们感兴趣的是，我们发现它与 RLHF 目标的策略梯度有着深层的联系：如果我们直接用普通的策略梯度优化 RLHF （人类反馈强化学习）目标会怎样？根据策略梯度定理，策略梯度实际上也具有平方损失形式（蓝色项是策略梯度中的基线）：从数学上，我们证明了 SPPO 的平方损失等价于普通策略梯度的一种半在线变体：SPPO 中的胜率充当奖励函数（红色部分）。分区函数项自然地成为（软）值函数（蓝色部分）。那么这到底意味着什么呢？标准策略梯度（PPO、GRPO、REINFORCE）在每一步都收集遵循当前策略的样本。SPPO 在每次迭代开始时只采样一次，然后通过平方损失进行优化。这使得 SPPO 成为一种轻量级的 RLHF 方法——无需即时生成！上述分析揭示了大型语言模型（LLM）后训练阶段一个有趣的发展趋势：离线 DPO（IPO、KTO 等）取代 RLHF（奖励模型 + 强化学习）迭代 DPO、SPPO 等方法将离线方法转化为在线对齐方法更加精细的迭代 → 回归到在线强化学习鉴于 GRPO（Deepseek-R1）和平方损失（Kimi k1.5）的成功，端到端强化学习的强大作用愈发凸显，或许在大型语言模型（LLM）后训练阶段无需额外技巧——价值函数、广义优势估计（GAE），甚至梯度裁剪都无需使用。另一个简单但有趣的发现是，他们发现 SPPO 暗中在词汇级别优化最优最大熵策略。其平方损失隐含地最小化了学习到的策略与最优词汇级别策略之间的 KL 散度。在我们后续的研究 GPO 中，我们直接最小化相对奖励与对数比率之间的平方损失。这两项工作中的平方损失等价于策略梯度，但它是以迭代的方式进行的。SPPO 技术背后的科研大牛除了提出助力 Kimi k1.5 大获成功的 SPPO 技术外，Wu Yue 也是一个学术背景很强的科研大牛。他本科期间师从北京大学的王立威教授，博士期间师从加利福尼亚大学洛杉矶分校的顾全全教授，目前以博士后研究员的身份在普林斯顿大学人工智能实验室继续着自己的科研之路。除此之外，2023 年至今他一共参与发布了 9 篇 Paper，其中 3 篇均为第一作者。强大的学术背景之外，Wu Yue 的实习经历也非常加分。2022 年至 2024 年，他分别在 NEC 美研院、字节美国 AI lab 和 Meta 工作实习。在 NEC 美研院期间，Wu Yue 从事个性化联邦学习研究，并开发了一种基于混合模型的方法，该方法被 ICML 2023 接受发表；在字节美国 AI lab 时，他专注于药物发现领域的多构象生成，将分子动力学的物理先验纳入基于扩散的生成模型，相关成果被 ICML 2024 接受；来到 Meta 后，Wu Yue 又致力于词汇级别奖励建模和新架构设计，用于一般人类偏好和一般偏好优化，为生成式人工智能的发展做出了贡献。雷峰网还了解到，与他同为第一作者的 Zhiqing Sun ，目前已经从 CMU 毕业，并在今年 2 月加入 OpenAI。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:洪学智
TOP1热点：欧盟称去年是自 1850 年以来最热年份
（五）及时处置聚集性疫情。各地要强化新冠和其他传染病聚集性疫情处置，及时启动应急响应，开展流行病学调查、实验室检测、传染源管理、疫点疫区消毒等措施，做到早发现、早报告、早隔离、早治疗，将疫情风险控制在萌芽状态。中国疾控中心要加强对地方聚集性疫情处置的技术支持，尽早阻断传播链条，严防疫情扩散蔓延。。
2022年，中国数据产量8.1ZB，居世界第二；数据存储量724.5EB，全球占比14.4%；数字经济规模50.2万亿元，占GDP比重41.5%。
TOP2热点：年会 服从性测试
应该说，中国现存数据在采集、存储、传输、使用过程中仍有权属不清、越权越级访问、交易无序等问题，数据泄露、数据贩卖、数据滥用等违法活动，也给数据安全保障工作带来极大挑战。
除了对台军事施压、对美拒止作战外，分析称，解放军在台海周边演练，也是对日本的警讯。因为日本资源贫乏，其生命线，也是补给线，都要经过台海，解放军封锁台海或是巴士海峡，便能掐住日本咽喉，所以日本非常关注。
TOP3热点：若沉迷游戏会改变大脑结构那做其他事会吗为了升职丈夫把我献给他们领导
由于比赛地点位于中缅边境，一些参赛选手担心赛事是否会涉及缅甸果敢地区，并担忧是否存在一定安全风险，“会不会跑着跑着，就跑到缅甸了？”
那是一个至今看起来都有些“愚蠢”和“丢人”的错误：200米蛙泳预赛中，覃海洋排名小组第一，但在水下转身后，他习惯性地在蛙泳腿后接了一个自由泳腿。
TOP4热点：t1对战dk天美麻花果冻
近日，河南平舆县畅达交通投资发展有限公司（以下简称“平舆畅达交投”）花3亿购买5000台无人机一事，引起社会关注。此前，该县纪委监委方面表示，已收到举报信，正按程序流转。
近日，河南平舆县畅达交通投资发展有限公司（以下简称“平舆畅达交投”）花3亿购买5000台无人机一事，引起社会关注。此前，该县纪委监委方面表示，已收到举报信，正按程序流转。
TOP5热点：为什么检查上级都会提前通知XXXXXL196-MAY18
15个月后，大约在2022年10月，我再次出击，这次我准备好了我的人际网络，有了足够的分量和影响力，这可以确保当我再次敲开大英博物馆的门时，如果门又被砰一声关上，我要直接踢开它，强迫他们听我的声音。所以我联系了其中一位董事会成员，知道他会把话带给奥斯本。
2014年，雷文蓉任贵州省科学技术厅（省知识产权局）副厅长（副局长）、党组成员，2018年任贵州省科学技术厅副厅长、党组成员，2021年任贵州省科学技术协会党组成员、副主席。
TOP6热点：有哪些演员戏路很窄天美影视传媒有限公司
这几天，网友们一直在猜测，杭州亚运会开幕式中国代表团旗手是谁。看到覃海洋的名字后，有网友说：“覃海洋今年太亮眼了，他值得！”
TOP7热点：为什么检查上级都会提前通知权臣HLH
按照松芝股份披露的天津公交集团经营数据，2022年天津公交集团营业收入降至5.9亿元，净利润亏损额扩大至近7亿元，资产负债率上升至100.38%，获得当地市区两级财政补贴金额扩大至32.9亿元。今年一季度，天津公交集团经营活动产生的现金流量净额约7564万元，投资和筹资活动产生的现金流量净额为负，资产负债率为100.71%，财政拨款补贴为8.3亿元。
TOP8热点：韩国一核电站泄漏 29 吨核废液老妇高潮潮喷到猛进猛出
70多年前，新中国百业待举、百废待兴，面对外国资本主义的封锁，全国上下勒紧裤腰带搞建设，在一张白纸上描绘出社会主义新蓝图；30多年前，面对苏联解体、东欧剧变的复杂国际形势，我们“冷静、冷静、再冷静，埋头实干，做好一件事，我们自己的事”，顶住压力，打开了改革开放新局面。
一位台空军退将则表示，解放军已将台湾海峡及台湾东部外海的“空域”，当作训练空域，“台湾空军每次广播‘驱离’，对方会说‘我们正常航训，请勿干扰’。”
TOP9热点：央行行长称提高国家外汇储备在港资产配置儿媳的爱
一、居民家庭（包括借款人、配偶及未成年子女，下同）在申请贷款购买商品住房时，家庭成员在购房所在地的市、县、师（市）名下无成套住房的，不论是否已利用贷款（包括商业银行个人住房贷款和住房公积金个人住房贷款）购买过住房，银行业金融机构均按首套住房信贷政策执行。
通过这些武器装备，美情报部门对中国、俄罗斯等全球45个国家和地区开展了10多年的网络攻击，攻击目标涵盖电信、科研、能源、军事等重要领域。
TOP10热点：胖东来宣布 7 条新规不允许家庭暴力movavi
至于大众较为关心的安全问题，他虽然有一定担忧，但认为这是一个小概率事件，“在云南住了几年，真正被拐卖到缅甸的还是很少见，边境线不是那么好跨越的。”不过，他还是表示，在镇康期间会一直和朋友同行，确保不落单。
2，东单东北角的“文明华章”花坛顶高8米，以国宝文物何尊、“宅兹中国”文字、国家版本馆等为场景，寓意中华文明赋予中国式现代化以深厚底蕴，在古为今用中赓续中华文明，走向更开阔未来。
推荐阅读
汤唯在《色戒》中的牺牲，远不止那几个镜头，金星都为她鸣不平
UFC 314 闫晓楠惜败杨迪罗巴
日本兵的回忆：日军进村找“花姑娘”，最喜欢的是一种人
詹姆斯：库里与哈登之间，我更愿意在季后赛第一轮中选择对战库里！
布林肯退休后首次接受采访谈关税战:中国手里有牌，特朗普胡闹
爱德华兹喊话湖人：有本事不要包夹我，1对1我能打爆你们所有人
中方停止进口后，美拿下全球第一，数量是中国两倍之多，特朗普破防了
女饲养员回应狼见愁称号 ：我挺待见它俩的，它俩不喜欢我还害怕我。
72分对飙66分！史上最激烈收官战！湖人正式锁定季后赛对手……
湖北一男子漂流黄河30公里发现一具遗体：内心很平静，毫无波澜，已报警