我的两个小䧅子6大模型热潮,会是一场泡沫吗?_我的两个小䧅子6ZAKER新闻
大模型热潮,会是一场泡沫吗?_我的两个小䧅子6ZAKER新闻
在杭州亚运会倒计时100天前夕,“浙里石榴红共绘亚运梦”民族(农民)画长卷捐赠仪式及作品展在杭州亚运会博物馆举行,献礼杭州亚运会。14幅主题长卷之一——《余东画村迎亚运》,便出自浙江省衢州市柯城区沟溪乡余东村农民画创作者之手。
本文来自微信公众号:腾讯研究院 (ID:cyberlawrc),作者:章文龙、邓培山,头图来自:AI 生成" 天体的运动可以计算,但民众的疯狂无法计算。"这句话来自经典物理学之父,艾萨克 · 牛顿。1720 年,南海股票市值暴涨,民众对股票市场充斥着狂热情绪,牛顿同样也参与其中。他以每股 120 英镑的价格买入,并以 270 英镑的价格卖出,最终获取了投资额两倍的利润。短短几个月后,因为难抵持续上涨的股价诱惑,牛顿以 600 英镑每股的价格再次买入,并计划在 1200 英镑时卖出。他充满信心,但事与愿违。在不到一个月的时间里,南海公司股价在触及 1000 英镑的高点之后一路狂泻,即便英格兰银行下场救市,也没能阻止它跌到 135 英镑的价格。这一次,牛顿损失了 20000 英镑并割肉离场。按照购买力平价理论,他的损失约合如今的几百万英镑。这是有史以来的第一次股票泡沫。这个故事显示,即便是智商高达 190 的牛顿,也难以抵抗短期的行业热潮带来的非理性投资冲动。在这些历史上一再出现的行业泡沫面前,无论是天才如牛顿,抑或是普通民众,都是无可争议的受害者:在百年难见的变革和机会面前,他们在膨胀的泡沫面前,都认为这是未来,市场便因这些希冀而膨胀,进而偏离了客观的资产定价。自 ChatGPT 推出以来,人工智能的快速发展伴随着无尽的争论。大把的业内人士通过各种方式告诉周围的人:这一次,技术真的将改变我们的世界。当然,跟资本市场的投资泡沫不同,这波大模型的热潮,拥有汗牛充栋的论文以及雨后春笋般涌现的模型作为支撑框架,并且已经有初步的商业落地和产品应用。但在短短两年时间里,无论是前端投资,还是中后端的模型和产品,大模型增长速度已经逐渐放缓,高成本和低回报的趋势已然浮现。我们曾经期待的人工智能行业奇点,是否跟历史上的无数行业泡沫一样,会是短短的昙花一现?大模型狂潮在冷却?从最新的公开报道来看,来自 Meta、OpenAI、谷歌等科技公司的人工智能革新,仍然在不断推进,但就其产品的 " 革命性 " 而言,早已不如 2022 年底鸿蒙初开时来得惊艳。以 OpenAI 为例,早在今年二月,其文生视频模型 Sora 已经以论文的形式发布。但时至今日,获得内测资格的用户,仍然是少量官方钦定的艺术家——除了 OpenAI 的官方账号会时不时更新基于 Sora 的艺术作品,普通用户难有直接使用 Sora 生成内容的机会。而根据 CNBC 的最新爆料,时至今日,Sora 模型还处于研究阶段,今年内可能无法推出。换言之,被认为是 2024 年 AI 最新方向的 " 文生视频 ",其主要玩家的主要产品,仍然处于 " 电子期货 " 的状态。而作为其主力产品的 GPT-4 发布已经一年多,下一代产品 GPT-5 迟迟没有发布的迹象。取而代之发布的 "o1",根据奥特曼的说法,是一个可以进行通用复杂推理的人工智能。在 o1 输出回答前,会产生一个很长的思维链条,来给出推理的答案。链条越长,推理效果越好。其中一个例证是,在此前的 2024 IOI 信息学奥赛题目中,o1 的微调版本在每题尝试 50 次条件下取得了 213 分,属于人类选手中前 49% 的成绩。如果尝试次数足够多,时间足够长,拿到金牌的难度也并不算大。需要指出的是,o1 模型看起来更好的推理效果,是用更贵的价格和更慢的反应速度换来的。具体而言,o1 模型的 API 调用价格,在每百万 token 输入 15 美元,输出则在 60 美元,相较于 GPT-4o 5 美元输入和 15 美元的输出,分别存在 3 倍和 4 倍的价差。虽然能实时显示推理链条,但其反应速度也降低到了十几秒的级别。且不论这种模型能力是否有过剩的可能,单看其模型用途,它最大的能力并不在于解决 GPT-4 所覆盖的通用型问题——囿于其庞大的推理算力需求导致的高成本,以及纯文字反馈的输出形态,中信证券研报指出:其短期内的应用范围仍然会集中于编程和科研等高价值领域。也因此,在没有足够用户基数的前提下,这个模型在商业角度很难算得过账。另一个切面则是,生成式 AI 每一次的产品迭代,其资本增密的速度,已经跟不上技术迭代的脚步。这也导致了部分业内人士,对生成式 AI 的看法逐渐变得消极。早在今年三月,阿波罗首席经济学家 Torsten Sløk 撰文指出,AI 泡沫的 " 糟糕程度 " 不仅超过了 1990 年代,还已经超过了互联网泡沫巅峰时期的水平。据 IDC 预测,2024 年全球将涌现超过 5 亿个智能化应用,这相当于过去 40 年的总和。另一个 " 吹哨人 ",红杉合伙人 David Chan 则在连续两年的时间里发出警告——AI 企业年营收总和需达 6000 亿美元,才能支付基础设施建设资金。而在当下必然不可能。这些担心反馈到资本市场领域。在 2024 年 8 月 5 日的 " 黑色星期一 ",以英伟达、苹果、特斯拉为代表的科技 7 巨头,盘初总市值蒸发 1.3 万亿美元,当日蒸发的市值则为 6500 亿美元以上。而一级投资市场对于 AI 相关的投资力度仍然不减。据国外媒体报道,仅就 2024 年第二季度,亚马逊、微软、谷歌母公司 Alphabet 和 Meta,在人工智能领域的投入就高达 500 多亿美元。而到目前为止,人工智能创业公司所获得的风投总额,已经高达 641 亿。2024 年至今,仅人工智能领域的投资已经占据全行业一级市场投资的 30% 以上。人工智能浪潮的三起两落回顾人工智能的发展史,从 1956 年的达特茅斯会议算起,到 2016 年以来的云计算和算力爆发,一个甲子的两端,分别代表了人工智能第一次浪潮的起点,和第三次浪潮的涌现。但三次波峰,也意味着出现了两次低谷。这或许对于当下的生成式 AI 浪潮,也有一定指导意义。作为计算机科学和人工智能领域的先驱,图灵在 1950 年发表的著名论文:《Computing Machinery and Intelligence》中,开放性地讨论了 " 机器能否拥有智能 " 这一问题。他虽然并未能给出明确定义,但文中提出的 " 图灵测试 ",已经开启了人类探索机器智能的先河。1956 年的达特茅斯会议上,约翰 · 麦卡锡、马文 · 明斯基等科学家,在会议上正式定义了何为 " 人工智能 " —— " 研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。通过了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,人工智能可以对人的意识、思维的信息过程进行模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。智能涉及到诸如意识、自我、思维、心理、记忆等等问题。"这一定义的提出,标志着 " 人工智能 " 作为独立学科的正式诞生。但在当时,人工智能的实现条件远比现在困难。其一是硬件条件的限制。在会议召开的时间点,电子计算机仍然是 32K 内存的晶体管计算机。1962 年,当时就职于 IBM 的阿瑟 · 萨缪尔在 IBM 7090 晶体管计算机上研制出了西洋跳棋(Checkers)AI 程序,并击败了当时全美最强的西洋棋选手之一的罗伯特 · 尼雷。在跳棋 AI 程序的研发过程中,他第一次提出了 " 机器学习 " 的概念,即不需要显式地编程,让机器具有学习的能力。因此,阿瑟 · 萨缪尔被称为机器学习之父。西洋跳棋 AI 程序的核心技术,是通过自我对弈来学习评价函数。无论是此后的 AlphaGo 围棋 AI 算法和当今深度学习领域非常火爆的生成式对抗网络(GAN)都采用了类似的思想。这股浪潮一直持续到 1970 年代,虽然这个时候已经出现了集成电路的电子计算机,但凭借当时已经很强,现在来看十分羸弱的内存和运行速度,并不足以解决任何实际的问题。虽然当时数据库的概念和初期产品已经诞生,但它并不足以支撑人工智能运行所需。而随着计算复杂程度的增加,同样也超出了当年的机能限制——这导致了第一波人工智能浪潮的衰退。第二次浪潮的兴起,则在 5 年后——随着拥有大量内存的计算机的出现,知识密集型应用的开发成为可能,以 Marvin Minskyzai 1975 年提出的框架理论为标志,人工智能开始以框架为单位整合知识,进而实现认知推理。一年后,Randall Davis 构建和维护的大规模知识库,让以专家系统为代表的人工智能技术路线,开始大规模涌现。这一时期的主要特点,则是将知识工程和专家经验,编码到计算机系统中,同时以规则和逻辑推理,来模拟人类专家的决策过程。AI 也从偏学术领域转向实际应用。卡内基梅隆大学的约翰 · 麦克德莫特于 1980 年 1 月提出了第一个专家系统 XCON(eXpert CONfigurer)。XCON 被数字设备公司(DEC)用于简化其 VAX 计算机的配置过程。到 1987 年,XCON 处理了大量订单,展示了其影响力和有效性。这一时期,AI 小组的成功案例激增,让很多当时的科技公司跟风成立了 AI 小组,而个人电脑等终端设备的兴起,也让普通人开始拥有接触并了解 AI 的机会。直到 1985 年,共有 150 家公司在内部 AI 小组上花费了 10 亿美元。1986 年,美国 AI 相关硬件和软件的销售额达到了 4.25 亿美元,成立了 40 家新公司,总投资额为 3 亿美元。这一时期,AI 相关的软硬件,主要在称为 LISP 机器的微型计算机上,运行 LISP 的相关程序。第二次 AI 寒冬的到来,相较第一次更具戏剧性。首先是学术界以外的 " 无关人士 " 的疯狂涌入—— 1980 年,美国人工智能协会的首次会议吸引了大约一千名研究人员,而到 1985 年,随着记者、风投机构、行业猎头和企业家们的涌入,AAAI 和 IJCAI 的联合会议的出席人数接近六千,氛围从休闲装变成了正式装。其次是硬件系统的替代导致的原有硬件市场崩溃。以第一代 UNIX 计算机工作站和服务器为代表,这些通用工作站对 LISP 机器构成了不小的挑战。再后来,Apple 和 IBM 的桌面计算机出现了更简单的架构来运行 LISP 应用程序,原有的专家机器开始变得过时,原来价值五亿的行业,在一年时间里被迅速取代。不过,即便这些更先进的硬件更新了 LISP 程序的运行环境,最终也只起到了 " 续命 " 的作用,到 20 世纪 90 年代初,大多数商业 LISP 公司,包括 Symbolics 和 Lucid Inc.,都失败了,德州仪器和施乐公司也退出了这个领域。而 " 专家系统 " 一词和独立 AI 系统的概念,也在 IT 教材中,变成了过眼云烟。跟第二次拥有诸多相似之处,第三次人工智能浪潮,同样基于神经网络技术的发展。有所不同的是,第三次人工智能浪潮,更多是多层神经网络的成功。2006 年,Hinton 教授提出的深度信念网络,标志着深度学习算法的诞生,它通过构建多层神经网络,使机器能够从大量数据中自动学习特征;强化学习算法,则通过与环境的交互来学习策略,以达到最大化累积奖励;2012 年,AlexNet 在 ImageNet 在大规模视觉识别竞赛中取得显著成绩,标志着深度学习在图像识别领域的突破;2016 年,Google 旗下 DeepMind 开发的 AlphaGo 人工智能机器人战胜世界围棋冠军李世石,进一步展示了人工智能在复杂策略游戏中的能力。以这些重要突破为历史节点,推荐算法、图像识别、自然语言处理等 " 识别式 "AI,开始占据 AI 的主流赛道。与此同时,Apple、Microsoft 及 Google 等国际知名 IT 企业,都投入大量人力物力财力开展深度学习的研究。例如 Apple Siri 的语音识别,Microsoft 搜索引擎 Bing 的影像搜寻等等,而 Google 的深度学习项目也已超过 1500 项。当然,以 Chatgpt 为代表的生成式 AI,某种程度上也是第三次 AI 浪潮的延续。我们并不能妄下断言说这一次浪潮,势必会像前两次有所回落,但它们呈现出来的某些 " 不可调和性矛盾 ",仍然值得去正视与警惕,并进行最大程度的" 战术规避 "。大模型的问题不能否认的是,生成式 AI 出世至今的一年半时间里,已经在诸多专业领域,展现了令人惊叹的潜力,无论是基于用户的自然语言指令,生成越来越长的高连贯和高逻辑文本,还是以此为基础,生成图片、视频等多模态内容。即便技术路线各有不同,但仍万变不离其宗。但基于模型内部的 " 黑盒 " 属性,其具体的推理过程和模型决策过程,至今仍然难以一窥全貌。这也导致了自生成式 AI 诞生以来一直困扰从业者和研究者的幻觉问题。幻觉导致的开发资源浪费、审查难度提高,都让 AI" 飞入寻常百姓家 " 的翅膀,加上一道枷锁。幻觉问题的产生,很大程度源于大语言模型的工作机制。AI 技术的本质在于对语言的概率模型预测,通过庞大的训练数据对下一个 token 进行推测。当这种生成机制不足以捕捉复杂的上下文关系时,模型就可能毫无根据地生成显著偏离事实的信息。如果放在文字生成领域,可以是生成结果的不知所云,如果是图片生成领域,则是生成了预料之外的要素 ",导致整个生成图片的 " 古神化 "。也正是因为幻觉问题的存在,美国纽约大学心理学和神经科学名誉教授加里 · 马库斯(Gary Marcus)认为:"(目前)人工智能系统的智能化程度并不高。他指出,目前人工智能工具中经常被吹嘘的神经网络与人类大脑神经网络的功能完全不同;虽然人工智能机器可以进行反射性统计分析,但它们几乎不具备有意推理的能力。虽然这些机器可以学习,但这种学习主要围绕单词的统计和对提示的正确反应;它们并不学习抽象概念——而且与人类不同,它们没有内部模型来理解周围的世界。马库斯说,通用人工智能最终可能会实现,但今天我们离它还很遥远,再多的投资也不可能改变这一现状。除了幻觉,人工智能也有另外一个问题——随着模型需要解决问题的多元化和专业化,剩余的可用作数据集的训练数据,正在变得越来越少。《经济学人》此前在一篇题为《AI firms will soon exhaust most of the internet ’ s data》的文章中指出,大语言模型(LLM)的发展,高度依赖于互联网数据——它通常的训练模式,并不是预测哪个词最能描述图像的内容,而是根据周围的其他单词,来预测一段文本中缺失的单词。基于这种训练模式,它不需要人工标记和数据清洗,它能在被称为 " 自我监督训练 " 的过程中,删去待预测单词,对其进行猜测,并根据接近与否,给最终答案打分。从训练过程也能发现,这对于训练文本量的要求极其之大——随着系统训练量的上升,其模型效果就越好。在目前互联网数十万亿字的存量文本面前,模型和它的关系,一如游戏《Minecraft》里的矿脉和矿工。但随着模型能力的扩张,互联网文本线性增长的速度,很难满足呈指数级别增长的模型样本量。据研究公司 Epoch AI 估计,最迟到 2028 年,互联网上的高质量文本将全部被使用。第三则是生成式 AI 训练涉及到的版权问题。用于训练大语言模型的高质量数据集,通常有对应的版权,如果没有签署对应的版权合同,则很难合法获取对应的高质量训练集。譬如在 2024 年 5 月,OpenAI 就宣布与新闻集团旗下媒体如《华尔街日报》达成合作伙伴关系,以 5 年 2.5 亿美元现金的代价,获得旗下文章的访问权,并用于大模型训练。而视频生成模型 Sora,使用的视频训练数据则来自 YouTube,从《纽约时报》的报道来看,OpenAI 在使用来自 YouTube 的数据时,并未经过授权。这显然导致了严重的潜在法律风险。某种程度上,Sora 正式版至今仍未上线,很大程度上跟预训练视频内容的知识产权归属纠纷,有着较为密切的关系。结语:正视大模型的长期价值当人工智能的历程走过一个甲子轮回,我们可以从历次浪潮中发现,尽管每一次技术奇点都让 AI 的智能程度更进一步,但伴随其间的,往往都是业界内外的非理性预期以及与实际价值严重背离的社会追捧。但大模型并非是一个资金进入两三年,便能 " 万丈高楼平地起 " 的行业。实际上,它仍然是一个重资产、长周期的 " 慢行业 ",底层模型只是其最基础的拼图。对于技术,人们常犯的一个错误是:高估它的短期价值,却又低估它的长期价值。以互联网的发展史类比,初代电子计算机出现于上世纪 40 年代,个人电脑的出现在 40 年后,Windows 操作系统的出现,则还要等 10 年;互联网的初代版本——万维网和网景浏览器的出现时间,是 1990 年代,到第一个可验证的互联网广告模式出现,并有公司以此盈利,还需等到下个世纪,其间又是近 20 年。而这已经是相对 " 轻资产 " 的行业。但同样是互联网行业,只需一部类似苹果手机的终端,一种类似互联网广告的商业模式,就能带来旷日持久的巨大变现可能。一旦有类似模式在生成式 AI 中出现并得到验证,其商业价值的规模和想象力,或许也是前所未有的。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:朱希
TOP1热点:只有织过毛线的人才知道她有多强
以居住小区为中心。
任二换的家在内蒙古乌拉特后旗乌兰哈少嘎查,处于我国第八大沙漠乌兰布和东北部边缘。过去几十年,这里一度沙进人退,“白天点油灯,夜里土堵门”。
TOP2热点:ADOR回应NewJeans改名
华北地区新一轮降雨过程
↑2022年7月2日,孩子们在位于浙江省杭州市富阳区银湖街道硅谷社区的“合之舍”书房内看书。
TOP3热点:秦彻狼尾404黄台
夏威夷应急管理局发言人亚当·温特劳布11日说,“从我们的记录看,毛伊岛火灾发生时警报并没有被激活。州和县都没人试图启动警报器”,但毛伊县通过手机、电视和广播推送了野火提示。
TOP4热点:林孝埈滑出无人区798大但人文艺术
取消“周一闭馆”惯例
↑2023年5月23日,河北雄安新区容东片区南文营社区居民在社区食堂就餐。
TOP5热点:仙台有树节奏好快搡小毛BBBBWW㐅
《光明日报》(2023年08月13日11版)
TOP6热点:叶平安下雨天穿白裙子浪货今天就把你🌿到服为止
取消“周一闭馆”惯例
TOP7热点:林孝埈滑出无人区女式开襟睡衣裙子做双人运动
能源产业加快绿色转型,绿色能源装备企业迎来机遇期。“上半年,能源装备制造行业营业收入、利润总额增速分别达13.9%、18.1%。”罗俊杰表示,分别贡献了机械工业营业收入和利润总额增长的30.3%和25.3%。
TOP8热点:敖丙你能再表演一下那个吗一个B三个人㖭
九曲黄河,奔涌向前,由山东东营汇入大海。
TOP9热点:黄晓明悼念黄旭华院士37大但人文艺术yongyuxun
以居住小区为中心
↑2022年7月2日,孩子们在位于浙江省杭州市富阳区银湖街道硅谷社区的“合之舍”书房内看书。
TOP10热点:亚冬会开幕式分会场是冰雪大世界中国XXXXXL196_may18_
人不负青山,青山定不负人!探索符合实际的绿水青山就是金山银山转换路径,以光伏生态牧场建设完善畜牧产业链条,实现生态、生产、生活“三生”共赢和发展经济、保护生态、改善民生、促进民族团结多重目标,培育藏羊、牦牛、青稞、油菜、饲草“五优”产业,牲畜出栏约占全省25%,三文鱼加工销售量约占全国市场的60%。新时代的海南州,正以创新之举奋力推进中国式现代化。