快把j拔出来我是你小䧅Transformer推理天花板被谷歌打破？DeepMind首席科学家亮出84页PPT，却遭LeCun反快把j拔出来我是你小䧅对_ZAKER新闻
Transformer推理天花板被谷歌打破？DeepMind首席科学家亮出84页PPT，却遭LeCun反快把j拔出来我是你小䧅对_ZAKER新闻
华为公司上周突然预售新款手机Mate60系列，不仅在中国社会激起热烈讨论，在国外也受到高度关注。路透社称，华为的最新高端智能手机引发了一场国际猜谜游戏，世界各地的拆解公司纷纷抢购，看看里面究竟有什么。评论称，如果中国企业能够生产自己的5G芯片，这将标志着其能力取得重大进展，并对美国限制其进步的努力造成打击。彭博社1日称，该媒体人士对华为新机的测试显示，其速度与最新款的苹果手机一样快。有知情人士告诉《环球时报》记者，Mate60系列手机使用的是中国自产的5G芯片。接下来，美国政府会如何反应，引发各方猜测。而众多美国网友的评论更为直接：美国对华为和中国的制裁，只会搬起石头砸自己的脚。
CoT 技术引发 AI 界科学家激烈讨论。【导读】随 OpenAI 爆火的 CoT，已经引发了大佬间的激战！谷歌 DeepMind 首席科学家 Denny Zhou 拿出一篇 ICLR 2024 论文称：CoT 可以让 Transformer 推理无极限。但随即他就遭到了田渊栋和 LeCun 等的质疑。最终，CoT 会是通往 AGI 的正确路径吗？随着 OpenAI o1 的爆火，最近 CoT 也成了圈内热议的高频词。靠着 CoT 的强力加持，o1 直接在 LLM 领域首次实现了通用复杂推理能力，俨然是 AI 发展新范式的开端。许多人惊呼：莫非 CoT 就是通往 AGI 的正确路径？而且，o1 这种慢思考模式不仅帮助 LLM 做数学和符号推理，甚至，还让 LLM 发展出了类人情感！最近，斯坦福等机构学者发文证实：LLM 在情感方面表现出的认知和推理比人类还像人类，背后最大贡献者竟然就是 CoT。就在这几天，风口浪尖上的 CoT，又让 AI 社区掀起了一场风波。谷歌 DeepMind 首席科学家称 LLM 推理无极限，LeCun 田渊栋回怼CoT 爆火之后，谷歌 DeepMind 首席科学家 Denny Zhou 拿出了自己团队八月份的一篇论文，抛出了这样的观点：「LLM 推理能力的极限是什么？那就是没有限制」。他表示，谷歌团队已经用数学方法证明，Transformer 可以解决任何问题，只要允许它们根据需要生成任意数量的中间推理 token。可以看出，Denny Zhou 等人提出的中间推理 token，跟 o1 的核心技术 CoT 非常相似。传统的 Transformer 模型的致命弱点，就是擅长并行计算，但不擅长串行推理。而 CoT，恰恰解决了这个问题。在这项工作中，Denny Zhou 等人发现：传统的 Transformer 模型，只能解决 AC0 电路能解决的问题；但一旦加入 CoT，Transformer 几乎可以解决任何问题。只要 CoT 步骤足够多，Transformer 就能模拟任意大小的布尔电路，解决 P/poly 问题也就是说，可以用数学严格证明，CoT 可以让 Transformer 解决几乎所有能用计算机解决的问题。利用 CoT，可以模拟布尔电路中每个逻辑门的计算这项工作暗示着，CoT 为更强大的 LLM 推理提供了新的思路，CoT 或将成为未来 LLM 发展的重要方向，而且很可能闪烁着 AGI 的火花。Denny Zhou 发帖后，立即引发了 AI 社区的热议。多位研究者下场讨论，也惊动了其他大佬。这不，就在刚刚，田渊栋和 LeCun 依次发表意见，回怼了 Denny Zhou。在他们看来，CoT 的作用，被远远夸大了。田渊栋表示，虽然 CoT 的确很有用，但 Denny Zhou 等人对其过于盲目追捧了，显然，CoT 并不是我们所需要的一切。在这篇论文中提到的是一种通用理论，可以通过显式构建 Transformer 权重，让其更好地适应特定任务。然而这样，CoT 的长度就会很长，这样的权重配置，能否通过梯度下降来学习呢？理论上，2 层多层感知器是可以拟合任何数据的，那我们就该相信它可以应用在所有场景中吗？人类的推练链是十分简洁的，面对从未见过的问题，也能捕捉关键因素。但 LLM 可以吗？如何在瞬间就学习或构建出这样的表征，是很令人着迷的。田渊栋的帖子一发出，立刻就获得了 LeCun 的支持。LeCun 表示，自己本来也想发表类似的言论，不巧被田渊栋抢先了。「2 层网络和核机器可以无限逼近任何函数，达到我们想要的精度，所以我们不需要深度学习。」从 1995 年到 2010 年，LeCun 听到这个说法无数遍了。当然，这个操作理论上是可行的。但如果真的在实践中应用所有相关的函数，光是第一层中的神经元数量就会多到不可思议。对此，网友的评价是：收敛和等价证明被高估了，高效的学习策略被低估了，就是这样。「我很高兴 Python 的存在，尽管 Pascal 是图灵完备的。」一位从业者表示，自己的研究是从一个隐藏层 MLP 判别式开始，然后就是 CNN 或 Deep NN 等专业模型。他的判断是：较小的模型更稳健、更可解释，而且通常很接近，但永远不会那么好。而使用更深层次的模型，总是会有额外的百分比。很多人是「挺 CoT 派」的。比如有人表示理解 LeCun 的观点，但在多维扩展场景中，CoT 绝对大有潜力。而对于 LeCun 所担心的问题，有网友表示，LeCun 在采用一种自上而下的策略，在这种情况下他必须控制所有的第一层输入，但其实，他并不需要。因为，CoT 通过创建了新的临时层，让人放弃了对这种控制的幻想。其解决方案就是，通过网络层的一般形式，来逼近注意力头本身。有趣的是，该网友表示，自己的灵感来源是《物理学》上的一封信，表明量子全息拓扑能更有效地满足这一点。即使爱因斯坦 - 罗森桥的边界相当大，它可以更连续地离散表示为无数不同的小层，横跨所产生的平坦空间。这，就是表征的力量所在。有人表示，这个讨论没什么意思，本质上不过是「无限猴子定理」罢了。让一只猴子在打字机上随机按键，当按键时间达到无穷时，几乎必然能打出任何给定文字，比如莎士比亚全集。田渊栋：可以发展，但更复杂最终，田渊栋也承认，谷歌这篇论文的思路的确有可取之处。然而由于涉及到不同的数据分布、模型架构、学习算法、后处理等等，问题还要更复杂。正如 Evolutionary Scale 联创 Zeming Lin 所言：我们需要像乔姆斯基层次结构这样的机器学习模型。就像 ML 模型有 NP、P、O ( n^2 ) 等概念一样，Transformer 或 Mamba 属于哪里呢？而在田渊栋发帖的第二天，谷歌论文主要作者马腾宇也上线评论说：CoT 的长度是可以超长的。2 层 MLP 中的神经元数量呈指数级，才能逼近几乎任何函数。田渊栋回复他说：对那些可能需要指数数量的门的问题，CoT 的长度可以很长。这和 2 层 MLP 情况是一致的，因为无论拟合任意函数，都需要覆盖高维空间中的所有角，这是最坏的情况。然而，现实世界的问题，是否有如此良好 / 简洁的表征呢？如果它们都像 NC1 一样，属于 P 问题，那么当然可以通过构建 Transformer 的权重来做到。在最近一条 X 帖子中，田渊栋表示，自己的想法是，能够找到更短的 CoT，同时使用专家迭代（穷人的 RL）来保持最佳结果。从公开信息来看，他推断 o1 也是在做类似的事情。至于初始化过程，可能是使用了大量高质量的人类推理链。人类是如何想出简洁的 CoT 呢，这就不为人所知了。趁此机会，他还宣传了一下自己团队 Searchformer 的论文。论文地址：https://arxiv.org/abs/2402.14083总之，虽然我们还不知道如何拓展 2 层神经网络，但 OpenAI 似乎确信自己已经掌握了拓展 CoT 的秘诀。最新讲座：揭示 LLM 推理的关键思想和局限目前，这场空前热烈的讨论还在继续。而关于 LLM 推理，Denny Zhou 最近在 UC 伯克利也进行了一场类似主题的讲座。他表示，自己对 AI 的期待是可以像人类一样从较少的示例中进行学习。但曾经尝试的种种机器学习方法之所以都不成功，是因为模型缺失了一种重要能力——推理。人类之所以能从较少的示例中学习到抽象的规律和原理，就是因为推理能力。正如爱因斯坦所说的，「Make things as simple as possible but not simpler」。（一切都应该尽可能简单，但不能过于简单）比如，对于下面这个问题：对人类而言，这是一道小学水平的「找规律」。但机器学习需要海量的标注数据才能找出其中的规律。而 LLM 的少样本学习更是难以解决。但如果在数据中加入「推理过程」，LLM 就很容易有样学样，学习到少量样本示例中展现出的规律，并给出正确答案。通过这个简单的例子，Denny Zhou 指出，关键想法是在数据中包含中间步骤，或者是解释原理（rationale），同时让模型写出推导过程。这就是使用 CoT 背后的逻辑和直觉。「中间步骤」，为何如此重要DeepMind 的研究者们，率先使用自然语言原理去解决数学问题。关键就在于从头开始训练了一个序列到序列模型，从而通过一系列小步骤得出最终答案。继这项工作后，OpenAI 的研究者们建立了一个更大的数学单词问题数据集（GSM8K），其中包含自然语言基本原理，并利用它对 GPT-3 进行了微调。这样，语言模型的中间计算步骤，就被展示了出来。o1 模型的奠基性贡献者之一 Jason Wei 在谷歌大脑工作时曾和 Denny Zhou 发表了一篇论文，指出 CoT 提示可以引导出 LLM 的推理能力。Denny Zhou 甚至更直白地指出样本「中间步骤」的重要性：无论是训练、微调还是提示，都需要给出中间步骤，才能让 LLM 在响应中也包含中间步骤。实际上，这也是 Denny Zhou、马腾宇最近论文的核心观点。如果能生成足够长的中间推理步骤，常数深度的 Transformer 模型也能解决任何串行问题。CoT 并不是一切但是，这也并不意味着 CoT 可以包打一切，解决 LLM 推理的所有缺陷。比如，模型很容易被无关的上下文干扰，这一点和人类思维也很类似。实验中发现，在 GSM8K 数据集中添加无关上下文，可以导致模型性能出现高达 20+ 百分点的损失。此外，LLM 的自我纠正能力也并不健全。虽然有些模型在反思后可以成功修改错误答案，但也存在另一种风险——可能反而把正确答案改错。那么，LLM 的下一步应该往何处去？Denny Zhou 指出，虽然我们已经知道了模型推理有哪些缺陷和不足，但最重要的还是定义好问题，再从第一性原理出发去解决。此处，再引用一句爱因斯坦的话：「如果有 1 小时用来拯救星球，我会花 59 分钟来定义问题，然后用 1 分钟解决它。」一些质疑虽然 Denny Zhou 的演讲内容相当详实，但「CoT 实现推理无极限」的论断确实相当大胆，因此也引起了网友的反驳。比如有人指出，前提中所谓的「无限多 token」只是在理论上可行，在实践中未必如此。token 数量很有可能随输入增加呈现指数增长，问题变得越来越复杂时，token 数量逼近无限，你要怎么处理？而且，LLM 推理和人类还存在本质差异。AI 目前只能进行暴力搜索（brute-force），但人类有所谓的「启发式」思考，「直觉」让我们能将数百万种可能性快速缩减至几种可行的解决方案。如果想达到 AGI，AI 系统就需要模拟出这种高效的问题解决路径。参考资料：https://x.com/ylecun/status/1836308172123807986https://x.com/denny_zhou/status/1836482177959399714https://x.com/tydsh/status/1836103159162495361本文来自微信公众号 " 新智元 "，编辑：编辑部 HXZ 。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李厚福
TOP1热点：湖北多条高速公路将免费放行滞留车辆
答：光大银行正在抓紧制定具体实施细则和准备工作，将按人民银行要求在9月25日提供服务。后续进展将及时在光大银行官网、手机银行、公众号、网点等渠道公告。。
TOP2热点：以军称与哈马斯在加沙地带作战 对黎南部真主党目标实施打击
甘祖昌参加革命后，多年音讯皆无，原配妻子以为他早已不在人世，便改嫁了他人。担任新疆军区后勤部部长的甘祖昌，仍然是个单身汉，这引起了军区代司令员王震的重视，他一有机会就给甘祖昌物色对象。后来，听说八一子弟学校有几个大学毕业参军的教师没成家，他便找到李平，委托她帮助甘祖昌介绍一个对象。
TOP3热点：深夜北京西站，等待回家的人欧美人与人动人物2020
华东师范大学亚太研究中心执行主任陈弘4日告诉《环球时报》记者，近期种种迹象表明，澳试图维持警务乃至军事人员在当地的长期存在，太平洋运动会和所大选都只是澳方的借口，澳这么做更多是出于政治目的。而另一方面，中所警务合作顺理成章。西方不应小题大做，从意识形态角度解读。陈弘说，少数国家不应出于自己的战略目的影响当地政治，而应维护当地政局稳定。（任重）
TOP4热点：菲国家安全顾问指责中国在黄岩岛问题上的立场，外交部回应打扑克不盖被子床上运动
有一天，在家里看文件的甘祖昌突然晕倒。经医生诊断，甘祖昌脑部有大块的积血，并有严重的脑震荡后遗症，且这种症状将伴随他一生。
9月4日上午，随着清脆的“砰砰砰”声响，参加中泰“蓝色突击—2023”海军联合训练的双方海军陆战分队在泰国海军陆战队轻武器射击场展开冲锋枪、手枪实弹射击，标志着本次联训活动全面展开。
TOP5热点：中共中央、国务院：适当提高小麦最低收购价，合理确定稻谷最低收购价大肉大捧一进一出的视频
新疆和平解放后，甘祖昌在一次外出检查工作时，因为敌特分子截断了木桥，他乘坐的吉普车从桥上栽下，导致头部重伤，落下病根。同时，他还患有严重的肺气肿和气管炎。
TOP6热点：南方电网公司党组成员、纪检监察组组长龙飞，被查女人扒开腿让男人狂桶30分钟
按照意大利此前与中方的协议，在2024年3月意大利“一带一路”相关协议到期后，若意大利方面没有提出异议，则协议自动续上5年。
TOP7热点：查清“女干部不雅聊天事件”背后的特权嫌疑XXXXXLmedjyf7777777
“不出意外，电影票房应该会继续保持不错的成绩。”王征说，暑期的票房成绩提振了业内的信心，不少行业机构及券商上调了全年票房预测值，甚至将票房总额锁定在600亿。2018年，内地电影市场总票房为609亿元，2019年为641亿元，疫情三年，最高一年的票房产出为2021年的470亿元。截至9月2日，2023年中国内地电影年度总票房已经突破430亿元，在剩下不到四个月的时间里，内地电影市场会迎来第三个600亿+吗？
毛宁表示，香港特区政府已经就此发表声明，中方对这一恶劣行径予以强烈谴责。中方要求英方予以彻查，将肇事者绳之以法，切实保障香港驻伦敦经贸办机构和人员的安全。
TOP8热点：国家金融监管总局发布《固定资产贷款管理办法》《流动资金贷款管理办法》《个人贷款管理办法》XXXXXLmedjyf7777777
此前一天，澳大利亚政府表示，为强化11月在所罗门群岛举办的太平洋运动会的维安保障，将派遣额外的警力，并让他们留驻当地直到明年6月以协助大选。路透社在报道这一消息时刻意提到，所罗门群岛和中国于今年7月签署警务合作协议，引起西方国家的疑虑。澳大利亚、新西兰和美国担心中国警方可能会破坏所澳之间的长期安全布局。不过，所罗门群岛政府7月曾表示，与中国签署的警务合作协议对太平洋地区并不构成“威胁”。
答：初步判断，您的贷款符合存量房贷利率调整条件。建议您提前准备首套房贷款相关佐证资料，后续按照我行印发的操作指引提交利率调整申请。
TOP9热点：学习困难是病吗，如何鉴别云缨拿枪奖励自己核心免费
在广东住房政策研究中心研究员李宇嘉看来，现在市场上销售的现房，主要分三种情况，一是一些楼盘卖得慢、卖不动，而工期在推进，慢慢就变成了现房，比如很多楼盘的尾盘或最后一期；二是前几年地价较高，开发商不想降价出售，不得不以时间换空间，一套一套卖，“熬”成了现房；三是部分深耕本地的房企，资金链相对不紧张，项目不多，不愿意降价，也变成了现房。
“由于引导气流弱，‘海葵’移动缓慢如同人快步行走的速度，在台风里属于慢性子。”张娟表示，移速缓慢容易造成风雨时间长、累计雨量大，预计广东、福建等地风雨影响将至少持续三天，局地有特大暴雨。
TOP10热点：暂时排除恐袭可能，法国反恐部门介入巴黎持刀袭击案调查696969大但人文艺术主题
与此同时，路透社又拿中国与另一个南太岛国瓦努阿图的关系说事。该媒体称，在中美于南太竞争的背景下，瓦努阿图议会4日选举萨托·基尔曼为该国新总理。此前该国上诉法院维持对该国亲西方的前总理卡尔萨考的不信任投票。路透社称，基尔曼此前担任总理时曾与澳大利亚有过摩擦。他曾多次访华，并承诺与中国建立更紧密的关系。