科技视野-"我的大不大宝宝"-不做Sora背我的大不大宝宝后：百度的多模态路线是什么？

不做Sora背我的大不大宝宝后：百度的多模态路线是什么？_ZAKER新闻

编辑何先锋责编李彬彬

当 ChatGPT 掀起国内 " 百模大战 "，百度率先交卷文心一言。Sora 再掀视频生成风潮，却传出李彦宏内部讲话"Sora 无论多么火，百度都不去做 "。一时间，困惑、不解、争议，纷至沓来。面对这些声音，在刚刚结束的百度世界大会会后采访中，李彦宏公开回应。他不仅重申了不做 Sora 的决定，并且说明了百度是如何运用和发展多模态的。在大会发布中，李彦宏发布了百度从年初开始重点攻克的iRAG 技术，这项技术旨在解决 AI 领域最棘手的 " 幻觉 " 问题。有趣的是，这个开始正好是在 Sora 风正热之时。百度的选择背后原因，到底是什么？△百度 2024 世界大会现场加速解决幻觉问题先从 iRAG 技术看。它所解决的是图片生成的幻觉问题。在年初，不做 Sora，转头将资源放在幻觉解决上。为什么？结合这届百度世界大会主题" 应用来了 "来理解：幻觉已经成为制约大模型应用大规模落地的一大绊脚石。现代社会对计算器已有绝对的信任，只要保证输入是对的，就可以百分百放心地把计算结果用到下一步工作流程中。但对于已知可能存在幻觉的大模型来说，还敢给予同等的信任吗？△新版文小言 APP 绘图有幻觉，即意味着模型行为不完全可控，不能完全放心的自动化工作流程，依然需要人工介入。AI 应用正面临这样的困境。事实上，ChatGPT 问世之后，大模型的几个主要改进方向都是通过不同方式来解决大模型幻觉问题。长上下文窗口，让模型获取更完整的输入，减少因信息不全产生的错误推理。RAG（检索增强生成），检索外部知识库补充信息，弥补模型参数存储知识的不足。联网搜索，获取实时、动态的在线信息，扩展模型的知识边界。慢思考，通过分步推理减少直觉性错误，提高推理过程的可解释性。甚至从某种意义上说，多模态技术也是让模型多一种信息输入途径，不用在 " 看不见 " 视觉信息的情况下为了完成任务凭空编造。……所以再次总结一下，为什么解决幻觉问题是目前 AI 行业的当务之急？从技术层面，不解决幻觉问题就难以预测和控制模型的行为边界。从应用的角度来看，幻觉问题阻碍了用户对 AI 产品的信任。从产业角度，解决了幻觉问题才能扩大 AI 可应用的场景范围，提高 AI 系统的商业价值。再将目光转向百度，解决 AI 幻觉问题，恰恰也是百度的 " 主战场 "。iRAG，全称 Image-based Retrieval-Augmented Generation，是一种全新的检索增强文生图范式，结合了百度多年的搜索积累，帮助大幅提升图片的生成可控性和准确性。其核心是将百度搜索的亿级图片资源与文心大模型的生成能力相结合，通过联合优化，让生成图片更加真实可信。△百度 2024 世界大会现场具体而言，iRAG 先利用检索模块在海量图库中找出与文本描述最相关的若干图片，然后提取其视觉特征，与文本特征一并输入到生成模块。生成模块在此基础上，对图像进行理解、重组、创新，最终输出高质量、符合需求的全新图片。△文心大模型生成的大众揽巡汽车飞跃长城可以说，iRAG 巧妙地将认知智能（检索）与生成智能（创作）结合在一起，取长补短，相得益彰。一方面，海量图像的参考让生成更 " 接地气 "，大幅减少了幻觉、违禁内容等问题。另一方面，强大的生成能力让输出图片更多样、更具创意，远非单纯的拼贴、修改那么简单。更重要的是，iRAG 在诸多行业领域都具有广阔应用前景，尤其能显著降低 AI 生图的创作成本。比如在影视制作、动漫设计中，iRAG 可实现从文本脚本直接生成高质量的分镜、概念图，大幅减少中间环节的人工干预。多模态，不止 Sora 一条路明确了幻觉问题是 AI 行业的优先级，百度还需要回答另一种质疑：多模态已经是公认迈向 AGI 的重要一步。多模态有助于增强 AI 系统的感知和理解能力。通过处理视觉、语音、文本等不同模态的信息，AI 可以更全面地感知环境，增强其认知和交互能力，与人类通过多种感官认知世界保持一致。但这里要明确的是，Sora 路线并不能代表多模态技术的全部。首先，投入做 Sora 代表的通用视频生成模型投入的成本非常高昂。市场研究机构 Factorial Funds 报告估算，Sora 模型至少需要在 4200~10500 块英伟达 H100 GPU 上训练 1 个月。而如果 Sora 得到大范围应用，为了满足需求，需要约 72 万张 Nvidia H100 GPU，如果按照每片英伟达 H100 AI 加速卡 3 万美元成本计算，72 万片需要216 亿美元。而目前通用视频生成模型在技术成熟度上距离 iPhone 时刻也还有较远的距离。此前与艺术家合作短片《Air Head》后来就被指出实际有大量人工参与，估算只有约 1/300 的 AI 素材用到了最终成片里。△图源 fxguide.com目前市场视频生成应用从短剧内容生产到影视特效制作，很多努力都在摸索视频生成技术的想象空间，但尚未形成成熟的商业化方案和稳定的营收模式。其实，对于做多模态来说，也存在 Sora 之外的多种路径。‍‍‍Meta 首席科学家、图灵奖得主 Yann LeCun 就一直坚持 " 世界模型 " 路线。他认为生成视频的过程与基于世界模型的因果预测完全不同，通过生成像素来对世界进行建模是一种浪费，注定会失败。斯坦福教授李飞飞则看重具身智能，她认为 AI 仅仅看是不够的，" 看，是为了行动和学习 "。比如通过大语言模型，让一个机器人手臂执行任务，打开一扇门、做一个三明治以及对人类的口头指令做出反应等。百度对多模态技术的理解，最近也在数字人场景得到集中体现。百度从 2019 年起就开始布局数字人领域，涉及语音克隆、唇形同步、表情动作捕捉等一系列关键技术。到如今百度 " 曦灵 " 数字人、" 慧播星 " 数字人已广泛应用于新闻播报、直播电商等场景。△百度慧播星电商数字人正如李彦宏强调的，百度不做 Sora，并不意味着在多模态赛道上缺席了。数字人语音与口型、动作的同步问题，或许最终可以靠通用场景下的视频生成实现，但需要很长时间，成本很高。但既然可以用更简单、成本更低的方法做到，为什么不先把业务跑起来呢？首先，通用方案追求 " 大而全 "，试图用单一模型覆盖所有场景，但这在技术上尚不成熟，往往带来效果的参差不齐 ; 而数字人聚焦特定垂直领域，可以更精准地优化模型，追求极致的人机交互体验。其次，视频生成好就是固定的素材了，缺乏实时交互能力；而 AI 驱动的数字人却可以实现动态多轮对话，甚至还可以根据用户反馈实时调整状态，更加契合真实应用的需求。最后，视频生成对算力和数据的要求极高，当前能够真正驾驭的企业凤毛麟角，商业化进程困难重重 ; 相比之下，数字人技术门槛相对较低，且应用场景清晰，更容易形成可复制的商业模式，开启数据飞轮。AI 大规模落地需要什么条件？不论是投入解决图片幻觉问题，还是从业务需求出发发展多模态的路线，百度的目标似乎都围绕着李彦宏所说的：让技术被更多人用起来。李彦宏这段时间不断强调的一个观点是 " 模型本身不产生直接价值 "，只有在模型之上开发各种各样应用，在各种场景找到所谓的 PMF，才能真正产生价值。百度需要做的，是为个人和企业提供开发应用的基建，帮助更多人、更多企业打造出数百万 " 超级有用 " 的应用。长远来看，幻觉问题的解决为行业应用消除了障碍，使得 AI 技术能够在更广泛的领域得到应用和推广。用业务需要的多模态技术支持业务先跑起来，能让更多的 AI 应用场景为大家所用。同时，大量的行业应用所产生的数据，又能为 AGI 的发展提供丰富的养分，形成良性循环，推动数据飞轮的高速运转，从而加快我们迈向 AGI 的步伐。— 完 —点这里关注我，记得标星哦～一键三连「分享」、「点赞」和「在看」科技前沿进展日日相见 ~