ai换脸张元英造梦入门OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线_Zai换脸张元英造梦入门AKER新闻
OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线_Zai换脸张元英造梦入门AKER新闻
水满则溢、月盈则亏，行到水穷处，坐看云起时。永远不要对中国失去信心，赌注做空中国，首先会做空自己。当然，中国，永远不能骄傲，还是要加油啊，发展才是硬道理。
OpenAI 的下一代大语言模型「Orion」可能遭遇了前所未有的瓶颈。据 The Information 报道，OpenAI 的内部员工称 Orion 模型的性能提升没有达到预期，与从 GPT-3 到 GPT-4 的升级相比，质量提升要「小得多」。此外，他们还表示 Orion 在处理某些任务时并不比其前身 GPT-4 更可靠。尽管 Orion 在语言技能上更强，但在编程方面可能无法超越 GPT-4。▲图源：WeeTech报道指出，训练高质量文本和其他数据的供应正在减少，这使得找到好的训练数据变得更加困难，从而减缓了大语言模型（LLMs）在某些方面的发展。不仅如此，未来的训练将更加耗费计算资源、财力甚至电力。这意味着开发和运行 Orion 以及后续大语言模型的成本和代价将变得更加昂贵。OpenAI 的研究员诺姆 · 布朗（Noam Brown）最近在 TED AI 大会上就表示，更先进的模型可能「在经济上不可行」：我们真的要花费数千亿美元或数万亿美元训练模型吗？ 在某个时候，扩展定律会崩溃。对此，OpenAI 已经成立了一个由负责预训练的尼克 · 雷德（Nick Ryder）领导的基础团队，来研究如何应对训练数据的匮乏，以及大模型的扩展定律（scaling laws）将持续到什么时候。▲ Noam Brown扩展定律（scaling laws）是人工智能领域的一个核心假设：只要有更多数据可供学习，并有更多的计算能力来促进训练过程，大语言模型就能继续以相同的速度提升性能。简单来说，scaling laws 描述了投入（数据量、计算能力、模型大小）和产出之间的关系，即我们对大语言模型投入更多资源时，其性能提升的程度。举例来讲，训练大语言模型就像在车间生产汽车。最初车间规模很小，只有几台机器和几个工人。这时，每增加一台机器或一个工人，都能显著提高产量，因为这些新增资源直接转化为生产能力的提升。随着工厂规模的扩大，每增加一台机器或工人带来的产量提升开始减少。可能是因为管理变得更加复杂，或者工人之间的协调变得更加困难。当工厂达到一定规模后，再增加机器和工人可能对产量的提升非常有限。这时，工厂可能已经接近土地、电力供应和物流等的极限，增加的投入不再能带来成比例的产出增加。而 Orion 的困境就在于此。随着模型规模的增加（类似增加机器和工人），在初期和中期，模型的性能提升可能非常明显。但到了后期，即使继续增加模型大小或训练数据量，性能的提升也可能越来越小，这就是所谓的「撞墙」。一篇近期发表在 arXiv 上的论文也表示，随着对公共人类文本数据需求的增长和现有数据量的有限性，预计到 2026 年至 2032 年之间，大语言模型的发展将耗尽现有的公共人类文本数据资源。▲图源：arXiv即使诺姆 · 布朗指出了未来模型训练的「经济问题」，但他还是对以上观点表示反对。他认为「人工智能的发展不会很快放缓」。OpenAI 的研究人员也大都同意这种看法。他们认为，尽管模型的扩展定律可能放缓，但依靠优化推理时间和训练后改进，AI 的整体发展不会受到影响。此外，Meta 的马克 · 扎克伯格、OpenAI 的山姆 · 奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统扩展定律的极限，并且仍在开发昂贵的数据中心以提升预训练模型的性能。▲ Sam Altman（图源：Vanity Fair）OpenAI 的产品副总裁彼得 · 韦林德（Peter Welinder）也在社媒上表示「人们低估了测试时计算的强大功能」。测试时计算（TTC）是机器学习中的一个概念，它指的是在模型部署后，对新的输入数据进行推理或预测时所进行的计算。这与模型训练阶段的计算是分开的，训练阶段是指模型学习数据模式和做出预测的阶段。在传统的机器学习模型中，一旦模型被训练好并部署，它通常不需要额外的计算来对新的数据实例做出预测。然而在某些更复杂的模型中，如某些类型的深度学习模型，可能需要在测试时（即推理时）进行额外的计算。例如，OpenAI 所开发的「o1」模型就使用了这种推理模式。实际上，整个 AI 产业界正将重心转向在初始训练后再对模型进行提升的模式。▲ Peter Welinder（图源：Dagens industri）对此，OpenAI 的联合创始人之一伊利亚 · 苏茨克弗（Ilya Sutskever）最近在接受路透社采访时承认，通过使用大量未标记数据来训练人工智能模型，以使其理解语言模式和结构的预训练阶段，其效果提升已趋于平稳。伊利亚表示「2010 年代是扩展的时代，现在我们再次回到了探索和发现的时代」，并且指出「扩大正确的规模比以往任何时候都更加重要」。Orion 预计将在 2025 年推出。OpenAI 将其命名为「Orion」而非「GPT-5」，这也许暗示着一场新的革命。虽然暂时受理论限制而「难产」，我们仍然期待着这个拥有新名字的「新生儿」能给 AI 大模型带来新的转机。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:高尚德
TOP1热点：能都看懂的是那个！
9月28日晚间，中国恒大（03333.HK）在港交所发布公告称，“本公司接到有关部门通知，本公司执行董事及董事会主席许家印因涉嫌违法犯罪，已被依法采取强制措施。本公司股份由2023年9月28日上午9时正起于联交所停止买卖，并将继续停止买卖直至另行通知。”。
郑州日报报道显示，28日，国铁集团郑州局迎来节前客流高峰，发送旅客69.1万人，加开北京、上海、杭州、广州、深圳等方向临客列车24对，郑州、洛阳、商丘、南阳、新乡地区火车站客流较大。
TOP2热点：我烧掉了全班的作业！
2015年12月31日，陆军领导机构和火箭军、战略支援部队成立大会在八一大楼隆重举行，中共中央总书记、国家主席、中央军委主席习近平向陆军、火箭军、战略支援部队授予军旗并致训词。
中新经纬9月28日电 （熊思怡）截至9月27日，全国已有六省份发布2023年企业工资指导线。2023年走过大半，你涨工资了吗？
TOP3热点：谢谢你，“白龙马”欢迎来到游荡的精灵森林第三集
向黎与第一任妻子所生的儿子向思维只有二十多岁，也被安排进入学校，担任分管治安的副校长。此外，学校的食堂、小卖部等，都由其亲属经营，学生被以“保障食品安全”为由，禁止带食物入校园。正是在此背景下，发生了2021年的“学生蹲校门口喝奶”事件，引发全国关注。
TOP4热点：“骠骑将军最大的优点就是天生富贵，怎么打都赢”偷香目录最新章节阅读
国家统计局数据显示，2023年8月，全国CPI环比上涨0.3%，同比上涨0.1%。CPI同比增速由负转正，环比增速连升两月。
该案为何在今年1月份就被公开披露？上述人士称，发生在2021年的“学生蹲校门口喝奶”事件是重要导火索。事件发生后，有关“达外”校内食堂、小卖部被向黎亲属“垄断”的消息不断爆出，向黎此后就身处漩涡之中。
TOP5热点：OOTD：88岁爷爷的穿搭日常绝望教室动漫免费观看第一季
在9月28日的国防部例行记者会上，有记者提问：“台湾自主建造的潜艇今天下水。台军方称，自造潜艇是台海军不对称战力的关键，未来要阻止解放军进入太平洋包围台湾。请问对此有何评论？”
TOP6热点：新手跟老手过水管的区别男女肌肌桶肌肌
今年7月份，随着中国恒大（03333.HK）及恒大汽车（00708。 HK）相继补发2021年和2022年业绩报告，许家印最后一层遮羞布也被扯了下来，两家公司在这两年分别累积净亏损8120亿元、840亿元。
高铁票制改革当前还处于起步阶段，未来如何平衡铁路客运市场经济性和公益性关系，如何满足不同类型消费群体支付能力，引导铁路运输企业积极参与市场竞争，构建反映市场供求关系的高铁票价体系，仍需不断摸索。
TOP7热点：这个世界是个巨大的中文圈699桃子移植100种黄油
最终，巩立姣的第五投和第六投都没有超过19米58，但这并不影响她豪取三连冠，并且帮助中国女子铅球在亚洲赛场上锁定“12连胜”的辉煌战绩。
“我依然会坚持到……”在赛后的新闻发布会上，当巩立姣说到自己会坚持多久时，她突然停顿了几秒钟，在那个短暂却意味深长的间隙，巩立姣的脑海中或许也会闪过未来的样子，“坚持到下届奥运会，巴黎奥运会。”
TOP8热点：三肘击碎射手梦，我是雷霆你记住！白板app下载
知情人士透露，在相近时间段内被带走的恒大核心成员，还包括许家印二儿子许滕鹤（Peter Xu），他曾主导恒大财富的工作；恒大前CFO潘大荣，主要负责恒大系资金运作；恒大地产集团、恒大物业集团前董事长甑立涛。
TOP9热点：游戏：赚100亿那不是轻轻松松？！4什么4什么4什么4等于5
2011年，达州市“十一五”十大杰出人物系列评选活动上，向黎入围，组织方对他的评价是：该同志善于学习，不断开拓，与时俱进，艰苦创业；投资兴学、造福桑梓；从严治校，科学发展。曾获得达州市“改革开放三十年十大杰出经济人物”称号。
TOP10热点：捣烂100朵玫瑰花捏一串文玩手串！价值10000元！男女肌肌桶肌肌
今年6月底的亚运会选拔赛上，巩立姣就曾和澎湃新闻记者透露，东京奥运夺金之后，她在此后的一年里逐步脱离了丛玉珍教练的指导，转而进入“自己给自己当教练”的阶段。