全马4小时是什么配速遭GPT-全马4小时是什么配速4o碾压，豆包们直面语音AI生死战_ZAKER新闻
遭GPT-全马4小时是什么配速4o碾压，豆包们直面语音AI生死战_ZAKER新闻
9月，他在北京调研，期间在北京国科天迅科技股份有限公司，李强听取公司研发情况汇报，了解公司产品在重大装备、新能源汽车等领域的应用情况。
文 | 科技新知 ，作者丨廖政 编辑丨蕨影最近，语音 AI 这个赛道，又被 OpenAI 搞火了。就在 9 月 25 日，GPT-4o 高级语音终于开始全量推出，Plus 用户一周内都能用了。在 OpenAI 的移动端 APP 上即可体验！讲真，这是 AI 渐冷的日子里，为数不多的 " 高光时刻 "。此外，还带上了一些更新，增加自定义指令、记忆、5 种新的声音和改进的口音。与标准语音模式进行区分（黑色旋转球），高级语音将以蓝色旋转球表示。并且，其中还包括对诸如重庆话、北京儿化音等地域性方言的精准模仿，可以说是学嘛像嘛。在消除语音机械感的同时，用户不仅可以随时打断通话，即使不和它说话时，它也能保持安静，一旦有任何问题可随时向它提出。从总体上来说，这次语音 AI 的更新，让 GPT-4o 的交互越来越有 " 人味 " 了。不过，早在 GPT-4o 的实时语音功能推出前，国内的一批大厂，就已经率先开始了对语音 AI 这块高地的争夺，其焦点也是冲着 " 实时交流 "" 真人化 " 等方向去的。至于结果…… 只能说，在 " 徒有其表 " 的模仿下，国内的语音 AI，离真正通用且泛化的人机交互方式，还有相当一段距离。Part.1 短板暴露在 AI 时代，语音 AI 最大的意义是什么？对于这个问题，科大讯飞给出了一个具有全局性的答案：语音平台可能成为未来物联网的 " 操作系统 "，换句话说，就是当物联网将所有的设备都能联网后，什么智能硬件、自动驾驶汽车、消费级机器人等等，都是潜在的应用场景。到那时候，要想让这些设备能听懂人话，那就得靠语音平台了。但是，虽然总的思路挺有格局的，但在具体实施的手段上，讯飞这样的大厂却走了一条" 自下而上 " 的路线。大体意思是，在语音 AI 生态的构建上，讯飞这几年基本上是从行业场景一个个往下打，像教育、医疗、政务这些场景，都是它们重点发力的地方。从总体上看，讯飞的策略是先抓住这些垂直领域，通过提供专用解决方案来逐步累积数据和优化算法。这个做法有个好处，就是每个场景里，讯飞可以做得很深、很专。举例来说，讯飞在 2022 年推出了 " 讯飞医疗 AI 医生助手 "，这款产品能在病历记录、辅助诊疗等方面提供语音输入和智能建议，帮助医生减轻文书工作压力。类似的例子，还有讯飞在 2023 年推出了 " 智慧课堂解决方案 "，旨在通过语音识别和评测技术，帮助教师进行实时的课堂互动与教学反馈。在这些垂直领域，星火的定制化方案，确实解决了很多行业痛点，也使得讯飞能够在激烈的市场竞争中保持行业的龙头地位。在 GPT-4o 推出语音演示功能后，讯飞的星火大模型，也紧随其后，推出了同样能够极速响应、自由打断，且能在各种情感、风格、方言随意切换的语音 AI。然而，对于构建能够 " 统一调度 " 的大平台级别的语音 AI 来说，除了做到布局广，且 " 说话流畅 " 之外，还有至关重要的一步。那就是：实时状态下的语音 AI，究竟能否帮助用户解决一些较为复杂的需求？关于这点，我们对讯飞的星火大模型进行了一次测试。左右滑动查看更多左：纯文本状态下的回答，右：实时语音状态下的回答例如，在询问开封有哪些著名景点时，讯飞的实时语音 AI，虽然回答得很流畅，但答案却较为简单，比纯文本状态下省略了很多内容。那造成这种差距的关键原因是什么？其实，对于 GPT-4o 这样的语音 AI 来说，除了确保通话流畅的 RTC 技术外，其背后还有一种关键的技术。这就是端到端的语音大模型。在以往的 AI 语音交互中，语音的处理大致分成了三个步骤。传统的 STT（语音识别，Speech-to-Text）-LLM（大模型语义分析）- TTS（文本到语音，Text To Speech）三步走的语音技术。这样的技术，特点是成熟，但反应慢，缺乏对语气等关键信息的理解，无法做到真正的实时语音对话。与过去的三步式语音交互产品相比，GPT-4o 是一款跨文本、视觉和音频端到端训练的新模型，这意味着所有输入和输出都由同一个神经网络处理。这也是 GPT-4o 说话时反应贼快，智商还在线的重要原因。而当今一众力图模仿 GPT-4o 的国产厂商，例如字节跳动，虽然依靠 RTC 技术，让语音 AI 做到了流畅、即时，但在最核心的 " 内功 "，即端到端语音模型方面，却露出了短板。Part.2 " 智力 " 缩水在今年的 8 月 21 日，字节挑动的豆包大模型，搭载了火山引擎的 RTC 技术，也实现了类似 GPT-4o 的实时音频互动表现，能够做到随时打断，交流自然，感觉就像真人说话一样。所谓 RTC（Real-Time Communication）技术，是一种支持实时语音、实时视频等互动的技术。旨在降低语音通话中的延迟，使得用户在进行语音对话时感觉更加自然和顺畅。但 RTC 主要解决的，仅仅是语音 AI 流畅性和实时性问题，但它并不能直接整合语音识别、理解和生成的步骤。换句话说，在实时通话时，模型虽然话说得利索了，但智商却不一定在线。一个明显的例子，就是字节的豆包大模型，在通过实时语音 AI 与用户交流时，遇到了和讯飞星火一样的问题，那就是语音 AI 的智力，明显比纯文本大模型被 " 砍 " 了很多。左右滑动查看更多左：实时语音状态下豆包的回答，右：纯文本状态下豆包的回答例如，在对《黑神话：悟空》这一话题进行交流时，纯文本状态下的豆包，回答明显要比实时语音的豆包要更详细，更有针对性。一个可能的原因，是豆包在进行语音交互时，使用的并不是真正的端到端语音大模型。在非端到端模型中，语音识别、理解和生成可能仍然是分开的步骤，模型需要在极短的时间内完成语音识别、理解和生成，而这一过程的计算和响应速度，会限制其对复杂问题的深入处理。当模型被迫快速反应时，由于无法充分利用上下文信息，从而导致了 " 智力下降 " 的表现。其实，真正的端到端语音大模型，实现起来远非想象中那么简单。其中的难点，一在训练数据，二在计算资源；根据腾讯算法工程师 Marcus Chen 的推测，GPT-4o 这样的端到端语音大模型，背后使用的一种工程学方法，很可能是一种名叫离散化技术的路子。这个技术，简单点说，就是把这些连续的声音波形切成一段一段的，每一段都提取出它特有的特征，比如语音的语义信息和声学特征。这些特征就像是一个个小的 " 口令 "，机器可以把它们当成输入，丢到语言模型里去学习和理解。但这可不是什么人人都能轻松掌握的技术。要想做出高质量的语音 token，需要大量的数据积累和复杂的建模过程。这样的高质量数据，往往来自高质量的视频、播客等等。成本是过去文字训练模型的几十倍甚至更高。而在计算资源方面，在实时互动场景中，计算必须在极短的时间内完成，这意味着端到端的大模型，通常需要消耗大量的计算资源，尤其是在处理高维度的语音数据任务时。这也是为什么，OpenAI 在推出 GPT-4o 的语音 AI 功能后，对用户的使用量进行了额度限制。其额度消耗和 GPT-4o 回复的额度一样。反观现在以豆包为首的一些国产语音 AI，虽然以免费、不限次数为噱头，但其生成质量，却相较于纯文本状态大打折扣。这或许正是在算力资源紧张的情况下，模型采取的一种 " 权宜之计 "。因为当计算资源不足时，模型可能会优先选择简单的、低耗能的响应方式，以确保能够及时回应用户的请求。毕竟，又想要免费无限地使用，又想要高质量的实时回复，天底下哪有那么好的事？Part.3 算力困境在 AI 时代，各类 To C 语音产品的主要逻辑是，将昂贵或难以获得的人类服务，且是基于对话且可以在线完成的，替换为 AI，主要场景包括心理疗愈、辅导、陪伴等。对于 To C 类 APP，要想大范围地落地，其中一个前置条件，必然是成本的大幅度降低。唯有如此，企业才能够以更低的价格提供服务，进而不断扩大用户基数。但问题是，在降低成本的同时，质量和成效能否保障一定的水准？这正是最考验讯飞、字节等大厂的一点。从商业上来说，在降低成本的同时，要想质量不拉胯，就需要有源源不断的资金，进行研发和技术迭代。这就要求企业找到一种明确的商业模式，来自我造血。OpenAI 之所以能在如此短的时间推出 GPT-4o 的语音功能，是因为背靠微软，能获得源源不断的融资，从而不断强化其模型的能力。相较之下，坐拥几乎是行业内最为丰富业务场景的科大讯飞，虽然赶上了 2023 年 AI 浪潮，并在同年 6 月市值一度逼近 2000 亿大关，可随着其大模型持续高额的投入、销售费用持续攀升。当下，讯飞对大模型收益能否覆盖成本尚无定论，成本压力始终存在。一个重要的问题是：既然在一些特定的行业，例如医疗、教育、客服等，传统语音 AI 已经能够胜任了，那么以端到端大模型为核心的语音 AI，又该怎样从中获取自己的市场份额？一个可能的方向，就是在各种长尾需求中，对一系列复杂查询和非标准化指令做出回应。例如在智能汽车或移动应用中，端到端模型可以通过自然语言，理解用户说的犄角旮旯的地点在哪，并提供精确的导航指令。然而，在这种模式下，用户更多地是为语音 AI 背后强大的语言模型付费，为其出众的智力付费。因此，端到端语音 AI 的盈利之路，一开始就因为这种 " 附属地位 " 而充满了坎坷，因为前者的能力一旦遇到瓶颈，其也会跟着 " 一损俱损 "。而在附属于语言大模型的尴尬之下，在算力资源的分配方面，语音 AI 也面临着一种不利的态势。例如，对于字节来说，迄今为止，字节跳动已经推出了 11 款 AI 应用；其中，豆包是国内用户最多的 AI 独立应用，其 MAU 可能已达到 2000 万量级。然而，从业务布局上来说，语音 AI 现阶段不太可能是字节的重点。在 9 月 24 日的深圳 AI 创新巡展上，火山引擎发布两款视频生成大模型 PixelDance（像素舞动）和 Seaweed（海草），很多业内人士分析，这条视频 AI 的类 "Sora" 赛道，才是以短视频闻名的字节真正不能输掉的一仗。而 AI 视频生成，恰恰又是最消耗算力的一条赛道。来源：豆包 AI 视频生成模型与语音 AI 相比，同样消耗高算力的视频生成 AI，因为对应着短视频这个更明确，且更易于盈利的赛道，因此在资源分配上，更有可能得到大厂或投资者的倾斜。结合之前豆包在实时通话状态下的智力表现，我们或许能够推断，留给豆包打造端到端语音大模型的算力，未必会那么充足。而这种资源不足，却又要在面上与 GPT-4o 一较高下的情况，这正是当下实时语音 AI 这支 " 偏军 " 在中国 AI 版图中的窘境所在。语音交互技术火热了十来年，到了大模型时代，OpenAI、科大讯飞、字节这些大厂，又开始重新在往这领域挤，为何？因为这种技术，实际上暗藏着语音平台可能成为未来物联网 " 大脑 " 的想象。通过一个语音平台，操控所有智能终端，这是所有传统语音 AI 都办不到的事。但是，这技术要想做得好，得先解决一个大问题，就是机器得能真正理解人说的话。这就需要 AI 在自然语言理解、知识获取这些领域有新的突破。然而，在语言大模型遇到瓶颈，且算力资源被视频 AI 等 " 光环 " 更耀眼的产品抢走的情况下，语音 AI 在中国人工智能的版图中，暂且只能是个尴尬的存在。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:关仁
TOP1热点：首届电竞奥运会将于2027年在沙特利雅得举行
根据批复，国家金融监督管理总局北京监管局同意华夏银行受让北京亦庄国际投资发展有限公司持有的北京大兴华夏村镇银行10%股权、受让北京生物医药产业基地发展有限公司持有的北京大兴华夏村镇银行10%股权。。
一个背景是，国企改革是东北振兴的“重头戏”。国有企业在东北的地位重要、作用突出，国有企业能不能搞好是东北老工业基地能不能振兴的重要因素。
TOP2热点：多省市主官点赞DeepSeek背后：各地政府工作报告如何拥抱新质生产力
中国华融晚间还在公告中宣布，11月15日，公司与中信集团及其全资子公司中信盛星签订股份转让协议，股份收购价为9.35港元/股，合计136.27亿港元。收购事项完成后，中国华融将持有中信股份5.01%已发行股份。
大足区教委对中国之声表示，针对报道中指出的问题，大足区委、区政府高度重视，在重庆市教委的指导下，大足区政府迅速成立工作专班，深度检视有关问题，尽快拿出具体整改办法。
TOP3热点：澎湃AI晚新闻丨2025年2月12日老王头的幸福晚年张倩倩
中国华融在公告中表示，收购事项有利于提高本公司资产质量，优化产业布局，帮助本公司改善财务状况，有效补充资本，增强可持续盈利能力，是优化国有资产布局的重要举措。中信集团还将通过品牌授权、人员互相交流、资产互相交易，在市场化、法制化的原则下，支持公司转型发展，提高国有资产运营效益。
TOP4热点：WTT优化赛事规则：取消强制参赛规则，奥运冠军可获外卡成长的秘密毛毛葆葆分析
1970年12月，毛泽东同志请来华访问的美国作家埃德加•斯诺带话给美方：“尼克松愿意来，我愿意和他谈。谈得成也行，谈不成也行。”1971年4月，美国乒乓球队作为第一个正式访问新中国的美国代表团来华，史称“小球推动大球”。4月21日，中方就美方提出双方举行高层对话的建议进行答复，表示愿意公开接待美国特使基辛格，甚至美总统本人来北京直接交谈。中美商定由基辛格赴华与中方举行秘密预备会议。
TOP5热点：零引援掀翻两亿豪赌，这是属于皇马的欧冠DNAmanta79838
从2018年特朗普政府对华发起“贸易战”算起，中美之间的摩擦和冲突已持续五年多，这五年的世事变化已经证明，即便是在这样的激烈对抗下，双方的共同利益依然在增多而非减少，双方着力增进沟通、深入对话、加强合作依然是应对各类风险挑战的最优路径。
TOP6热点：倾尽一城花，只为奠一人！黄旭华院士遗体送别仪式在武汉举行lv日本官网官方网站中文版
11月18日，深圳市税务局相关工作人员回应上游新闻（报料邮箱：baoliaosy@163.com）记者称：“相关案件正在办理中，若当事人罚款不能对应缴纳的话，税务部门会有相应的执行措施。”北京中闻律所胡晓锋律师分析指出：“若纳税人消极应对，将涉嫌犯逃税罪，最高可判7年有期徒刑。”
我们期待，中美两国能够以建设性的姿态、向前看的精神，走出一条既非热战也非冷战的正确相处之道，在世界政治史上写下两个大国相互尊重、和平共处、合作共赢的新篇章。
TOP7热点：京东官宣进军外卖：目前仅限堂食餐厅和品牌连锁，0佣金能否撼动美团、饿了么waswassike美国
张玉宁、王上源、武磊和助教郑智都在走出机场的过程中耐心满足了球迷的签名要求。对国足而言，这种公开场合下氛围轻松的积极互动并不多见，有时候，一场赢球的确可以改变很多。
TOP8热点：突发肠道疾病，跳江救人的“白龙马”不幸死亡急救护士法版
上午谈判最受瞩目的莫过于阿斯利康中国区副总裁黄彬的现身。黄彬多次代表阿斯利康参加医保谈判。2020年医保谈判，黄彬的一句“看我表情”在医药圈广泛流传。2021年黄彬在医保谈判走出会场时曾向澎湃新闻记者表示：“不能说，要有纪律。”
TOP9热点：澎湃AI晚新闻丨2025年2月12日公园里的老年镖客视频人生
今年6月在金华，双方的亚运队也有过两场交锋。有些可惜的是，亚运会四分之一决赛，蒋圣龙因为红牌停赛无法出场，这也是国足亚运队上半场就被打进两球的一个重要原因。
我们期待，中美两国能够以建设性的姿态、向前看的精神，走出一条既非热战也非冷战的正确相处之道，在世界政治史上写下两个大国相互尊重、和平共处、合作共赢的新篇章。
TOP10热点：WTT优化赛事规则：取消强制参赛规则，奥运冠军可获外卡九幺下载安装
9。压片机设备及模具的生产、经营、进出口企业和个人应谨慎对待来自美国和墨西哥的订单，防止流入非法渠道，防范被“钓鱼执法”或制裁风险。