孙尚香站在凳子上辅导刘禅写作业对话复旦大学教授肖仰华：这轮生成式AI泡沫孙尚香站在凳子上辅导刘禅写作业早晚会破，天花板一定会到来_ZAKER新闻
对话复旦大学教授肖仰华：这轮生成式AI泡沫孙尚香站在凳子上辅导刘禅写作业早晚会破，天花板一定会到来_ZAKER新闻
不仅希望中国的芯片技术落后下去、芯片产品发展降速，更希望韩国、日本、荷兰，当然还有中国台湾地区这些芯片产业有不少技术领先优势的地方，无法赚取超额利润，等待美国在此领域迎头赶上。为此，美国甚至不惜采取各种手段，“强迁”韩国和台湾地区的芯片生产单位赴美。其号称如果中国大陆武统台湾，则美军不惜炸毁位于台湾岛上的台积电，就是对台湾地区赤裸裸地讹诈。
复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华在 Scaling Law（缩放定律）的 " 指引 " 下，AI 大模型技术正朝着加大训练数据、加大算力投入、堆积参数等方向前进，模型一代代 " 膨胀 "，因此，如何用更可靠的数据进行训练模型，正逐步成为 AI 大模型发展的根本性的、长期性的关键要素之一。9 月 5 日 -7 日举行的 2024 Inclusion · 外滩大会 " 从 DATA for AI 到 AI for DATA" 见解论坛上披露的 Epoch AI 数据显示，自 2026 年起，人类产生的新数据量将比模型学习的新数据量要少，预估到 2028 年，AI 大语言模型将耗尽人类数据。这意味着，无论是高质量的人类开放语料，还是互联网开源流通的信息语料，未来基于这些数据技术的模型效果最终将出现 " 瓶颈 "，从而很难实现比人类更智能的通用人工智能（AGI）目标。那么，如何用更优质的数据发展中国 AI 技术？高质量数据如何推高 AI 技术上限？对此，9 月 6 日下午，复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华与钛媒体 AGI 等少数媒体进行对话交流。肖仰华教授认为，AI 大模型落地的本质仍然是数据工程。但当前，大模型发展过程中，其对数据的消耗和使用极为 " 粗放 "，对数据的使用效率极为 " 低下 "，和人类相比远远不足，同时，千亿大模型的数据可能存在极大 " 水分 "，现在已经处于 " 大模型数据耗光 " 这一状态。因此，发展合成数据、私域数据、个人数据训练，可以进一步提升大模型的技术能力。当前，AI 大模型技术领域，为了达到 AGI，模语料数据规模变得 " 越来越大 "。以 Meta 公司发布的开源大模型 Llama 3 为例，其使用了 15T Tokens，是古代世界最大图书馆——亚历山大图书馆 70 万册藏书（以每册 10 万字计，累计 70G Tokens）规模的 200 多倍。更早之前，OpenAI 披露，GPT-3.5 的文本数据多达 45TB，相当于 472 万套中国四大名著（《三国演义》、《西游记》、《水浒传》、《红楼梦》），而 GPT-4 在之前训练数据集的基础上又增加了多模态数据，规模达数十万亿级 Token。尽管大模型所展现出的重要能力，得益于背后的海量数据、蕴含了丰富的知识和智能。然而，当前大模型仍面临 " 幻觉 "、垂直行业信息缺乏等核心挑战。其中，大模型生成不正确、无意义或不真实的文本的 " 幻觉 " 现象，受到广泛关注，公开研究曾披露 OpenAI GPT-4 模型的错误率能达到 20% 以上，而造成这一现象的主要原因是大模型缺乏高质量数据支撑。在一定程度上，数据决定了 AI 大模型 " 智能水平 " 的上限，但当前的千亿大模型当中，80% 都是 " 水分 "，即大量的语料数据都是无意义、错误率极高的信息。所以，提高数据的质量和多样性等方式，对于未来大模型技术发展以及落地应用来说至关重要。肖仰华现任复旦大学计算机科学技术学院教授、博导，上海市数据科学重点实验室主任，复旦大学知识工场实验室负责人，2009 年获得复旦大学博士学位后留校任教，研究方向包括知识图谱、大模型以及社会科学启发下的人工智能等。肖仰华在演讲中表示，当前大模型技术实现过程中，数据消耗了极大人力资源与资本投入，所以大模型落地的本质仍然是数据工程，数据在整个大模型技术体系中处于一个核心的基础地位。因此，如果大模型真的要走向千行百业，必须要解决 " 幻觉 " 问题，背后则需要运用合成数据、私域数据、个人数据、小模型、知识图谱等技术方法，或协同方案。" 实际上，现在所谓的千亿大模型可能存在极大‘水分’，大多数参数可能只是在编码琐碎而杂多的事实，与大模型的智商关系不大。所以，我们有没有可能在这 1000 亿模型基础之上将‘水分’挤掉，把无用的知识全部榨干，只留下 100 亿、10 亿最关键的数据参数，它将决定大模型理性能力的关键。被挤掉的‘水分’知识完全可以放在外部文档系统里，通过 RAG 系统能够在应用时检索到即可。" 肖仰华对钛媒体 AGI 表示。他坦言，越来越多的人仍然是把精力花在找更多的数据而非质量，已经存在一些研究成果表明 5% 的优质指令数据有可能会比 100% 的一般指令取得更好的大模型微调效果，所以大众不应该能再盲目追求数量，而是要去想一想数据质量如何提升。对于数据消耗，肖仰华详细分析了三个形成基于高质量数据的模型技术方案：合成数据、私域数据、个人数据。首先是合成数据。互联网数据虽然消耗殆尽，但人类可以在这个数据基础之上合成更多的数据，可以在原始数据上不断思考、反思、关联、融合，产生更多的数据。合成数据是很重要的思路，不仅只是为了缓解数据用光的问题，而且合成数据大部分是人类思考过程的数据，实际上可能比现在已经获取的数据更多。通过合成数据把大量隐性、没有记录、没有表达、过程的偏重思维的数据表达出来，这种数据对激发大模型的智商，或者理性能力至关重要。现在大模型其实只有知性，没有理性，因此，合成数据就是提升理性能力非常重要的一个思路。使用模拟思考过程的合成数据训练大模型，它才能知道应该怎么去思考问题，而合成数据既是为了缓解数据的 " 饥荒 "，也是为了提升大模型理性能力。第二是私域数据。人类更多高质量、高价值的数据是在私域（垂直行业）当中，如果使用私域数据训练大模型，可能会让大模型变成行业专家。因此，用好私域数据是很关键的因素，数据有待挖掘的潜力仍然十分之大。最后是个人数据。个人数据用于训练大模型才刚刚开始，包括苹果在内的很多手机终端厂商，下一步一定是用个人数据和大模型结合。因此，如何把个性大数据和大模型结合好，变成个性化大模型，为每个人提供服务，对此未来还有很长的路要走。不过，肖仰华也认为，当前数据要素市场尚不健全，使得私域数据的汇聚和交易流通也是困难重重，挑战非常之多。同时，大模型对数据利用的 " 贪婪程度 "，也影响了数据的存储、生产、加工、流通、消费各个环节的技术走向。" 模型的评估、数据的筛选和模型的训练三件事应该是‘三位一体’的，我们需要注重数据的用法。" 肖仰华称。在肖仰华看来，AI 大模型技术发展至今，仍然还处在一个非常早期的时代，从原理和源头上还完全缺乏理论和方法，而且大模型参数量变大，并没有让它的智商和理性能力所有增长。"Scaling Law 很快就会见到天花板，或者说我们要重新去看待 Scaling Law。并且，我们要从源头上去梳理这些问题，去激发大模型的核心认知能力，提升大模型的理性水平。" 肖仰华表示。不过，部分学者对于合成数据的前景也有一些怀疑和争议。9 月 6 日，OpenAI 创始成员、AI+ 教育公司 Eureka Labs 创始人安德烈 · 卡帕蒂（Andrej Karpathy）在播客节目 No Priors 节目中表示，Transformer 还远没到自己的极限，新的改进和创新主要集中在数据集方面。尽管使用合成数据对于创造下一代大模型有很大帮助，但合成数据往往多样性和丰富度不足。安德烈 · 卡帕蒂也承认，当前数十亿级参数量的大模型存在很多无用信息，他认为与互联网数据本身有关，因为其可能是由 0.001% 的认知数据和 99.999% 的相似或无用信息构成的。而当前的模型浪费了大量容量来记忆无关紧要的事情，原因是数据集没有经过精细化的调整（curation）。而真正用于思考的认知核心（cognitive core）可以非常小，如果它需要查找信息，它会知道如何使用不同的工具。未来，未来当下一代模型发挥作用时，它们会出现不同的分工，比如程序员、产品经理等。另一方面，肖仰华表示反对 " 机器取代人类 " 的这一观点，他认为技术的所有进步和发展还是要 " 以人为本 "，没有人的文明是没有意义的。" 现在大模型就很擅长，可以很容易做到一段文字一字不错。事实上，文字偶尔出错无伤大雅，重要的不是文字有否错别字，而是文字背后是否是真知灼见。我们在太多无意义的细枝末节浪费太多精力，而对事关宏旨的本质却又轻松放过。以大模型为代表的 AGI 的到来，粉碎了人类无意义的事项，倒逼人类回归价值本原。" 肖仰华称。展望未来下一代万亿级参数的 GPT 模型，肖仰华指出，未来也许大家并不需要过多的数据，只需精炼即可。然而，在此之前，人类可能需要通过万卡训练和打造万亿模型，以此来探索智能的极限。但早期的那些千亿、万亿的大模型，可能存在很大的 " 水分 "。所以，人类必须先拥有 " 水分 " 充足的大模型，然后才有可能挤出这些 " 水分 "，从而获得一个小而精的模型。最后，基于这个小而精的基座模型进行微调与训练，在小规模集群或单机上完成微调工作。肖仰华强调，这波生成式大模型的泡沫早晚会破，天花板一定会到来。首先，人类产生优质数据的过程是相对缓慢的，大家不可能每天都产生对于世界的重大新认识，优质数据的缓慢生产速度为成为大模型发展的天花板。其次，合成数据的质量控制仍存在不少技术挑战，且合成数据是基于原始真实数据推理而产生的，因此也会限制大模型获得本质新颖的知识与能力，也就是大模型会遭遇所谓的演绎闭包困难。最后，即便训练出来了参数规模是人脑的 10 倍、100 倍的超级大模型，人类当下的智识水平可能限制我们去认识这样一个超级智能形态。这样一个可能的超级存在也就与人类无关。试想一下，如果蚂蚁文明举全体蚂蚁世界之力造出了人类水平的智能，那么这个相对于蚂蚁而言神一样的智能体一定是忙于探索星辰大海，去接近或实现一个更高的存在，而无暇去关照自己的造物主。"AI 好比一个照妖镜，将人类社会一切没有价值的事情进行摧毁，倒逼大家去做真正有价值和有意义的事情。因此，AI 的未来发展倒逼所有行业回归价值本原，要让人类做真正有价值的事。" 肖仰华表示。（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:吕德榜
TOP1热点：《哪吒2》成中国影史票房新冠军
之所以叫“福尔摩审”，审计部门还擅长从蛛丝马迹中找到突破口。如在几年前，审计人员去成都某国际酒店审计，在一个星期时间里，审计人员从上万张单据里面发现了一个问题：有些进口的原材料的入库单和出库单经常会出现一个人的字迹，而这个字迹又不完全一致。就凭着这个字迹，他们一直摸下去，发现这个人会趁着出库员不在的时候，模仿签字，一出一进，监守自盗，多余的钱都归他了。上万张单据属于大海捞针，但是即便是这些细微到别人不会注意的地方，也难逃万达审计的法眼。。
TOP2热点：美国或将在中东打开潘多拉魔盒
张工在前方指挥部第一次会议上指出，要组建专门救援队伍，成立应急抢险尖刀队和后备机动队，做到遇险能第一时间就位、科学果断处置。
TOP3热点：A股机器人概念近40股涨停campbuddy大基基的长度
中图网介绍，当晚救出被困人员的一共有三波救援队。第一波是政府协调来的救援队，他们赶来将孩子和孕妇安全转移了出去。后来是山东聊城雄鹰救援队，当时现场情况复杂又是深夜，危险系数非常高，是他们一趟又一趟把被困人员带到了安全的地方。最后一波也是官方调配的救援队。“真正的萍水相逢救命之恩。”
TOP4热点：中欧班列春节加速运行他的大手攀上我的珠峰
400万册图书、价值超过3亿元，一夜之间化为乌有。谈到曾被洪水围困的员工和变成废纸的图书，中图网创始人、CEO黄平忍不住掩面而泣。
TOP5热点：山东淄博一游乐园用驴充当斑马如饥似渴la.vorace
通报称，2013年，时任巩义市北山口农信社主任王某范为感谢杨红伟对其农信社完成揽储任务等提供的帮助，与杨红伟商定以其哥哥杨某军的名义通过签订虚假合同在北山口农信社贷款200万元，并由王某范进行转贷给某置业公司，获取的102万余元高额利息由杨红伟占有支配。
TOP6热点：举报提前开学补课被回怼究竟谁错了四川少妇BBw搡BBBB槡BBBB
8月1日下午，涿州市东仙坡镇三步桥村的村民在网上发出求助，村里有100多人被困，洪水已经淹没住所的一楼。村民张亮向《中国新闻周刊》回忆，水是从7月31日晚上11点涨起来的，当天下午，村干部发出通知，要求村民抓紧转移至地势较高的镇中学。他和大部村民一样，只是将老人和小孩送到了安置点，自己留在家里观察雨情。
TOP7热点：网传政府院内群众抱干部腿 当地通报刚开始是拒绝的后来太舒服了
400万册图书、价值超过3亿元，一夜之间化为乌有。谈到曾被洪水围困的员工和变成废纸的图书，中图网创始人、CEO黄平忍不住掩面而泣。
毛昭晖提出，公职人员高利转贷行为涉及面广，具有专业性、隐蔽性等特点。打击不能仅依靠纪检监察机关，要加强以大数据监督为支撑的协同式监督，通过巡视、巡查、纪检监察、审计等多种形式进行查处惩治。
TOP8热点：水果干的热量低于新鲜水果吗西施狂飙乳液
异化的旅游行业真的适合跟风投入吗？旅游的终极目标是游客对本地生活的体验，人与人面对面之间的沟通依然是最重要的方式。贾云峰认为，抖音导游的非现场化，预计并不会对传统导游行业造成大的冲击，多数游客仍愿意选择线下面对面的旅行方式。与此同时，抖音导游作为一种数字化展现形式，也将为一部分热爱数字技术的旅游者提供个性化方式的选择。
TOP9热点：男子跳进兵马俑坑被警方带走暴躁妹妹csgo
在海叔看来，德国的“红绿灯”政府发出各种各样的声音，都没什么好奇怪的。这就如同梅洛尼担任总理的意大利政府，高喊着口号要不再与中方延期共建“一带一路”合作文件。如果光是当着拜登的面唱唱美式高调，其实根本不是个事。
TOP10热点：细支烟已经完全成为了主流四川BBB桑BBB桑BBB
对于韧性城市建设，地方是选择短期经济发展，还是长期适应气候变化，需要决策者进行复杂的权衡。杨赛霓提到，韧性城市是个复杂的系统性工程，成本很高，每个城市应根据自身的经济能力和发展特点进行建设。
万亿城市“守门员”东莞，上半年增长“失速”。7月26日，东莞市统计局披露：2023年上半年我市地区生产总值为5262.10亿元，同比增长1.5%。