经济动态-"年轻的儿媳"-o1规划能力首测！已年轻的儿媳超越语言模型范畴，preview终于赢mini一回

o1规划能力首测！已年轻的儿媳超越语言模型范畴，preview终于赢mini一回_ZAKER新闻

　　于是人们看到，菲律宾向礁上运补时，美方派出军用侦察机在仁爱礁附近空域活动，最近几次甚至派出导弹驱逐舰对菲律宾进行支援掩护；菲律宾前脚发布颠倒黑白的消息，美国官员和媒体后脚就表示“与菲律宾盟友站在一起”；美方还多次以“可能触发《美菲共同防御条约》”威胁中国。菲律宾高级官员向媒体透露，美国曾向菲律宾就修复非法“坐滩”军舰提供建议。

o1-preview 终于赢过了 mini 一次！亚利桑那州立大学的最新研究表明，o1-preview 在规划任务上，表现显著优于 o1-mini。相比于传统模型的优势更是碾压级别，在超难任务上的准确率比 Llama3.1-405B 高了 11 倍。要知道之前，OpenAI 自己人也发了一张图，显示 preview 论性能比不过满血版，论经济性又不如 mini，处于一个十分尴尬的地位。作者在推文中表示，尽管存在可保证性和成本问题，但仅针对 CoT 而言，o1 已经超越了大模型的 " 近似检索 " 性质，提升到了 " 近似推理 " 层次。并且在论文中，o1 全程被称作 LRM（Large Reasoning Model，大型推理模型），而非一般大型语言模型的 LLM。o1 团队的核心成员 Noam Brown 也转发了这项研究，顺便给 o1-preview 打了个 call。还有网友翻出了隔壁 Meta 的 LeCun 半个多月前的推文，当时 LeCun 说大模型没有规划能力，结果现在 OpenAI 就带着 o1 来踢馆了。用 " 搭积木 " 测试大模型为了评估 o1 系列模型的规划能力，作者使用了 PlanBench 评估基准。该基准的提出者中也正好包含了本文三名作者中的两名——共同一作 Karthik Valmeekam，以及他的导师 Subbarao Kambhampati。PlanBench 专门为评估大模型规划能力而设计，任务类型涵盖了计划生成、成本最优规划、计划验证等。具体到这个实验，作者使用了其中来自于国际规划竞赛（IPC）的 Blocksworld 和其变体。此类问题涉及在桌子上堆叠积木块，目标是从一个初始状态，重新排列到目标配置。木块用不同的颜色标识，一次只能移动一个积木块，且只能移动每一堆中顶部的积木块，被拿起的积木块也只能放在顶部或直接放在桌子上。变体 Mystery Blocksworld 则是在 Blockworlds 的基础上加入混淆机制，用一些毫不相干的词语来代替操作中的动作。在此基础之上，还有更为复杂的全随机变体，指令进一步从其他英文单词变成了无意义的字符串。在 o1 之前，Blockworlds 上的 SOTA 模型是 Llama3.1-405B，成绩为达到 62.6%，而在 Mystery Blockworlds 上，没有任何模型的成绩能超过 5%。o1-preview 超强规划o1 这边的测试结果显示，preview 相比 mini，成绩优势十分明显。在 Blockworlds 任务上，preview 版准确率达 98%，而 mini 只有 56.6%，表现还不如 llama。当然加入了混淆之后，mini 相比于 llama 也显示出了一些优势——在零样本配置下，preview 版的准确率超过了一半，比 llama 的 4.3% 高出了 11 倍多；mini 版也达到了 19.1%，比 llama 高 3.4 倍。最后在全随机版本下，o1-preview 还能拥有 37.3% 的准确率。以上结果显示出了 o1 系列模型，特别是 o1-preview 的超强规划能力，但是不足之处也十分明显。一是随着规划长度的增加，模型的性能也会迅速下降，即使对于未混淆的 Blockworlds 来说也同样如此。另外，Blockworlds 系列问题并非全部可解，作者发现 o1在识别不可解问题上的准确率依然存在不足。对于未混淆版本准确率只有 27%，但没有误判为不可解的情况；对于全随机版本则只有 16%，另外还有 11.5% 的概率将可解问题误判为不可解。甚至作者还发现，o1 有时也会狡辩，提出令人信服的合理理由，让人们相信其错误答案。在模型本身的性能之外，成本和时间消耗也是一个重要考量，相比于传统大模型，o1-mini 的成本相比 GPT4-Turbo 直接翻番，preview 更是高出了数量级。那么，如果你是开发者，会愿意为了 o1 的高性能付出更多的成本吗？欢迎评论区交流。论文地址：https://arxiv.org/abs/2409.13373参考链接：https://x.com/rao2z/status/1838245261950509170

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:李厚福

TOP1热点：答题分奖金

　　对美国来说，此举更是一本万利。首先，仁爱礁地理位置微妙，菲律宾更是美国“第一岛链”的关键国家。美国借仁爱礁问题炒热“中国威胁”，有利于自己搞离岸平衡、搅动地缘冲突、袭扰打压中国。。

　　推进扫黑除恶常态化，打掉涉黑恶犯罪组织1900余个，破获各类刑事案件2.9万起；针对缅北涉我电信网络诈骗犯罪，部署推进边境警务执法合作，连续开展多轮打击行动，缅北相关地方执法部门共向我方移交犯罪嫌疑人4.1万名。

TOP2热点：写作新人计划

　　中国南海诸岛包括东沙群岛、西沙群岛、中沙群岛和南沙群岛。南沙群岛在日本侵华战争期间曾被日方非法侵占。第二次世界大战结束后，中国政府根据《开罗宣言》《波茨坦公告》《日本投降书》恢复对南海诸岛行使主权，派遣军政官员乘军舰前往南海岛礁举行接收仪式，树碑立标，派兵驻守，并于1948年公布了《南海诸岛位置图》，明确把南沙群岛整体划入中国版图，并将仁爱礁（时称仁爱暗沙）标注为南沙群岛一部分。包括美国在内的许多国家出版的世界地图都把南海岛礁归属中国画得一清二楚。

　　上海市市长龚正指出，要抓紧制定城市更新行动计划，明确更新目标、更新项目、实施方式、实施时序，尽快推出一批显示度高、示范性强的更新案例，加快推进“两旧一村”改造，大力推进“工业上楼”打造“智造空间”。

TOP3热点：《哪吒2》预测票房超87亿2022Ggy钙站不能用了

　　1999年5月9日，就在中国驻南联盟使馆刚刚遭美国北约野蛮轰炸后，菲律宾海军一艘破旧的57号坦克登陆舰“马德雷山号”突然出现在仁爱礁海域，声称由于“船底漏水”，不得已在仁爱礁西北侧礁坪“坐滩”。

　　新中国成立以来，坚定维护中国在南海的领土主权和海洋权益。1983年中国地名委员会公布南海诸岛部分标准地名，其中包括南沙群岛的仁爱礁。1992年《中华人民共和国领海及毗连区法》也明确规定，中华人民共和国的陆地领土包括东沙群岛、西沙群岛、中沙群岛、南沙群岛。中国一直对包括仁爱礁在内的南沙群岛拥有领土主权。

TOP4热点：皇马与曼城连续4个赛季在欧冠交手PANSY中老年妈妈

　　值得注意的是，米莱上任后抛出百余项惊人政策，上街抗议示威的民众也是一波接着一波。据法新社当地时间12月28日报道，27日，因对米莱有争议的改革方案感到不满，又有数千名阿根廷民众走上首都布宜诺斯艾利斯的街头，抗议其提出的“经济休克疗法”和放松监管等法令，抗议者挥舞着阿根廷国旗和写有“祖国是非卖品”的标语牌。

TOP5热点：春节档一张票平时能买两张萌白酱17分钟视频

　　北京联合大学在线旅游研究中心主任杨彦锋指出，今年，哈尔滨的冰雪大世界造得特别壮观，投资和造型都是历年之最，是拥有不可替代性的冰雪旅游产品。更重要的是，入冬前夕，黑龙江就进行了细致、大规模、多次目的地营销，市场启动很早。如今的效果，可以看作政府强力拉动营销的必然结果。

　　正如曾任菲律宾前新闻部长的蒂格劳日前在媒体上撰文指出，美国试图把中国塑造成“对菲律宾等周边国家的威胁”，“美国给我们洗脑太容易了”。

TOP6热点：美联储宣布维持联邦基金利率不变中国新疆XXXXXL19

　　检察机关在审查起诉阶段依法告知了被告人陈戌源享有的诉讼权利，并讯问了被告人，听取了辩护人的意见。检察机关起诉指控：陈戌源利用担任上海国际港务（集团）股份有限公司党委副书记、总裁、党委书记、董事长，中国足球协会换届筹备组组长，中国足球协会党委副书记、主席等职务上的便利以及职权、地位形成的便利条件，为他人谋取利益，非法收受他人财物，数额特别巨大，依法应当以受贿罪追究其刑事责任。