人与性动交ⅩXXXB复旦大学副教授郑骁庆谈DeepSeek:AI行业不只有“规模法则”,开源将加速模型更新,芯片需求可人与性动交ⅩXXXB能不降反增_ZAKER新闻
复旦大学副教授郑骁庆谈DeepSeek:AI行业不只有“规模法则”,开源将加速模型更新,芯片需求可人与性动交ⅩXXXB能不降反增_ZAKER新闻
格隆汇9月5日丨东方时尚(603377.SH)公布,公司于2023年9月5日召开第五届董事会第四次会议,审议通过《关于不向下修正“东时转债”转股价格的议案》,公司董事会决定本次不向下修正“东时转债”转股价格,且自公司董事会审议通过之日起十二个月内(即2023年9月5日至2024年9月4日),如再次触发“东时转债”转股价格向下修正条款,亦不提出向下修正方案。自本次董事会审议通过之日起满十二个月后,若再次触发“东时转债”转股价格的向下修正条款,届时公司董事会将再次召开会议决定是否行使“东时转债”转股价格的向下修正权利。下一触发转股价格修正条件的期间从2024年9月5日重新起算。
每经记者:宋欣悦 每经编辑:高涵图片来源:视觉中国近日,中国 AI 初创公司深度求索(DeepSeek)在全球掀起波澜,硅谷巨头恐慌,华尔街焦虑。短短一个月内,DeepSeek-V3 和 DeepSeek-R1 两款大模型相继推出,其成本与动辄数亿甚至上百亿美元的国外大模型项目相比堪称低廉,而性能与国外顶尖模型相当。作为 "AI 界的拼多多 ",DeepSeek 还动摇了英伟达的 " 算力信仰 ",旗下模型 DeepSeek-V3 仅使用 2048 块英伟达 H800 GPU,在短短两个月内训练完成。除了性价比超高,DeepSeek 得到如此高的关注度,还有另一个原因——开源。DeepSeek 彻底打破了以往大型语言模型被少数公司垄断的局面。被誉为 " 深度学习三巨头 " 之一的杨立昆(Yann LeCun)在社交平台 X 上表示,这不是中国追赶美国的问题,而是开源追赶闭源的问题。OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)则罕见地表态称,OpenAI 在开源 AI 软件方面 " 一直站在历史的错误一边 "。DeepSeek 具有哪些创新之处?DeepSeek 的开源策略对行业有何影响?算力与硬件的主导地位是否会逐渐被削弱?针对上述疑问,《每日经济新闻》记者(以下简称 NBD)专访了复旦大学计算机学院副教授、博士生导师郑骁庆。他认为,DeepSeek 在工程优化方面取得了显著成果,特别是在降低训练和推理成本方面。" 在业界存在着两个法则,一个是规模法则(Scaling Law),另外一个法则是指,随着技术的不断发展,在既有技术基础上持续改进,能够大幅降低成本。"对于 DeepSeek 选择的开源策略,郑骁庆指出,"开源模型能够吸引全世界顶尖人才进行优化,对模型的更新和迭代有加速作用。" 此外,开源模型的透明性有助于消除使用安全的顾虑,促进全球范围内人工智能技术的公平应用。尽管 DeepSeek 的模型降低了算力需求,但郑骁庆强调,AI 模型仍需要一定的硬件基础来支持大规模训练和推理。此外,大规模数据中心和预训练仍是 AI 发展的重要组成部分,但未来可能会更注重高质量数据的微调和强化学习。郑骁庆 图片来源:受访者供图规模法则之外,还有另一个法则NBD:微软 CEO 萨提亚 · 纳德拉在微软 2024 年第四季度财报电话会上提到,DeepSeek" 有一些真正的创新 "。在您看来,DeepSeek 有哪些创新点呢?郑骁庆:在深入研读 DeepSeek 的技术报告后,我们发现,DeepSeek 在降低模型训练和推理成本方面采用的方法,大多基于业界已有的技术探索。比如,键值缓存(Key-Value cache)管理,对缓存数据进行压缩。另一个是混合专家模型(MoE,Mixture of Experts),实际上是指,在推理的时候,只需使用模型的某一个特定的模块,而不需要所有模型的网络结构和参数都参与这个推理过程。此外,Deepseek 还采用了 FP8 混合精度训练的技术手段。这些其实之前都有所探索,而DeepSeek 的创新之处就在于,很好地将这些能够降低技术和推理成本的技术整合起来。NBD:您认为 DeepSeek 现阶段的技术水平上是否已经接近或者达到了全球领先水平呢?郑骁庆:DeepSeek 目前在现有技术基础上,包括网络结构训练算法方面,实现了一种阶段性的改进,并非是一种本质上的颠覆性创新,这一点是比较明确的。其改进主要是针对特定任务,例如,DeepSeek 在数学、代码处理以及推理任务等方面,提出了一种在性能与成本上相对平衡的解决方案。然而,它在开放领域(open domain)上的表现,优势并不是十分明显。在业界存在着两个法则,一个是规模法则(Scaling Law),即模型的参数规模越大、训练数据越多,模型就会更好。另外一个法则是指,随着技术的不断发展,在既有技术基础上持续改进,能够大幅降低成本。比如说,以 GPT-3 为例,早期它的成本就很高。但随着研究的深入,研究人员逐渐清楚哪些东西是工作的,哪些东西是不工作的。研究人员基于过往的成功经验,研究目标会逐渐清晰,成本实际上也会随之降低。DeepSeek 的成功,我更觉得可能是工程优化上的成功。当然也非常高兴看到中国的科技企业在大模型的时代,在性能与成本的平衡方面取得了显著进展,不断推动大模型的使用和训练成本下降。符合刚才我提到的第二个法则的情况之下,走到世界前列。DeepSeek 有效平衡性能和成本,但对芯片需求影响不大NBD:DeepSeek 旗下模型的最大亮点之一是在训练和推理过程中显著降低了算力需求。您认为这种低成本大效能的技术创新,长期来看,会对英伟达等芯片公司产生什么影响呢?郑骁庆:我个人认为,它并不会对芯片采购量或出货量产生太大的影响。首先,像 DeepSeek 或者类似的公司,在寻找有效的整合解决方案时,需要进行大量的前期研究与消融实验。所谓的消融实验,即指通过一系列测试来确定哪个方案是有效的以及哪些方案的整合是有效的。而这些测试就非常依赖于芯片,因为芯片越多,迭代次数就越多,就越容易知道哪个东西工作或者哪个东西不工作。比如说,DeepSeek 的训练预算不到 600 万美元。它的技术报告中提到,不到 600 万美元的资金,是按照 GPU 的小时数(每小时两美元)来估算的。也就是说,他们基于之前的很多研究,把整条训练流程都已经搞清楚的情况之下(哪些是工作,哪些不工作的),重新走一遍。它的 GPU 的运算速度是多少,运算小时数是多少,然后再乘以每小时两美元得到的这个结果。报告中也提到了,600 万美元其实没有包含先期研究成本,比如,在结构上的探索、在算法上的探索、在数据上采收集上的探索的成本,也没有涵盖消融实验的开销以及设备的折旧费。所以,我个人判断,对英伟达其实影响不是那么大。另外,DeepSeek 的研究表明,很多中小企业都能用得起这样的大模型。尽管训练成本的下降可能会暂时减少对 GPU 的需求,但大模型变得更加经济,会使原本因为模型成本太高而不打算使用大模型的企业,加入到使用模型的行列,反而会增加对于芯片的需求。NBD:随着 DeepSeek-V3、R1 等低成本大模型的问世,传统的大规模数据中心和高投入的大模型训练是否仍然值得继续推进呢?郑骁庆:我觉得仍然值得。因为首先 DeepSeek 模型是语言模型,还没有扩展到多模态,甚至于我们以后要研究世界模型。那么一旦引入多模态之后,对算力的要求和基础设施要求就会成指数的增长。因为人工智能不可能仅仅局限于语言体本身,语言只是智慧的一种表现,而在这方面的探索仍然需要这样的一个基础设施。刚才也提到 DeepSeek 其实是在很多先期研究的基础之上,找到了一条性能和成本平衡的一个解决方案。先期研究包括各种各样的尝试,怎样去加速它呢?这个还是需要强大的硬件支持。否则,每迭代一次,就可能需要长达一年多的时间,这显然是无法赶上现在 AI 军备竞赛的。而如果有几万张卡,迭代可能几天就完成了。另外就是应用方面。即便是模型的推理成本再低,当需要支持数千、数万甚至更大规模的并发使用时,仍然需要一个配备大量显卡的强大基础架构来确保稳定运行。我觉得大规模预训练这一波潮流可能会弱化,可能不会成为下一步大家争夺的主战场。之前这个领域曾是竞争激烈的战场,但现在看来,成本和产出之间的比例正逐渐趋于紧缩。但是后面两步——高质量数据的微调和基于强化学习的人类偏好对齐,我相信未来会有更多的投入。图片来源:视觉中国开源加速模型更新和迭代,降低安全顾虑NBD:DeepSeek 采用开源模式,与许多国外大模型巨头闭源的做法不同。您怎么看开源模型在推动 AI 行业发展中的作用?郑骁庆:DeepSeek 目前受到了广泛地关注和认可。从开源模型与闭源模型的角度来看,我们观察到,开源模型在积累了以往研究成果的基础上,在目标明确的情况之下,借助于各种训练技巧以及模型结构上的优化,特别是吸收先前研究者在大模型领域已验证有效的原理和方法,开源模型已能够大致追上闭源模型。开源模型最大的好处就在于,一旦模型开源,全球的顶尖人才都能基于这些代码进行进一步的迭代与优化,这无疑加速了这个模型的更新与发展进程。相比之下,闭源模型肯定是没有这样的能力的,只能靠拥有这个闭源模型所属机构的内部人才去推动模型的迭代,迭代速度相对受限。另外,开源模型透明开放,也缓解了公众对于大模型使用安全的一些顾虑。如果模型闭源,大家在使用过程当中可能或多或少会有一些顾虑。而且开源模型对于人工智能的普及以及全球范围内的公平应用起到了非常好的促进作用,特别是技术平权方面。也就是说,当一项科学技术发展起来以后,全世界的人,不管来自哪个国家、身处何地,都应用享有平等地享受这种技术所带来的优势及其产生的经济效益。现在的 AI 竞争是在中国的中国人和在美国的中国人竞争NBD:DeepSeek 团队成员多为国内顶尖高校的应届毕业生、在校博士生。您认为中国 AI 是否存在独特的竞争优势?郑骁庆:我觉得我们的 AI 上面的竞争优势,其实是我们的人才数量上的优势。这几年,从我个人来看,我们的高等教育,包括硕士、博士的培养,有了长足进步。现在从中国的头部高校来看,对博士生、硕士生的培养已经比较接近于美国。在这样的情况之下,我们的基础高等教育质量的提升,使得我们储备了大量的人才。在这样的过程当中,我们能够对现有的技术进行迅速的消化。实际上,美国许多大模型研究团队,不乏有华人的身影。大家开玩笑说,现在的人工智能竞争是在中国的中国人和在美国的中国人竞争。要说劣势,其实我觉得还是很遗憾的,那就是我们很少能有颠覆性的创新。每日经济新闻koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:林莽
TOP1热点:林孝埈夺金
作为近年来阳光保险集团从外部引进的高管之一,从2019年初正式官宣加盟阳光人寿,到如今选择离开,王润东在阳光人寿的工作也已经超过了4年半时间,此前,他只服务过太保寿险一家企业,因此,此次离职也成为其27年职业生涯中发生的第二次重大变化。。
保守起见,策略哥特地回测了近几年开立医疗相同指标形态的出现次数及后续影响,数据发现开立医疗自2020年起共出现过55次股价突破BBI均线的情况。
TOP2热点:长辈为什么一定要催我们结婚
但个股市值体量、股性以及所处的市场环境不同均会导致TRIX指标策略的有效性不同。保守起见,策略哥特地回测了近几年今世缘相同指标形态的出现次数及后续影响,数据发现今世缘从2020年起共出现过18次TRIX金叉。
TOP3热点:U20 亚洲杯中国 2-1 卡塔尔真买的农村BBwBBwBBw
但个股市值体量、股性以及所处的市场环境不同均会导致TRIX指标策略的有效性不同。保守起见,策略哥特地回测了近几年山东华鹏相同指标形态的出现次数及后续影响,数据发现山东华鹏从2020年起共出现过19次TRIX金叉。
“策略之王”发现,南山智尚出现阳包阴的同时,股价站上5日均线,表示短期多方强势,上涨信号得到了进一步的确认。
TOP4热点:知乎写作计划69ΧΧΧΧⅩHD19
中科曙光目前正处于杯柄区域,投资者应该密切关注中科曙光的成交量,杯柄交易区间的突破标志往往是成交量的大幅变动,这或许也是先前上涨趋势的延续开始!
汇量科技(01860)公布,于2023年9月5日,公司斥资16.32万港元回购4.6万股。
TOP5热点:马刺力克奇才是谁给你开的花苞啊诗爸爸
但个股市值体量、股性以及所处的市场环境不同均会导致TRIX指标策略的有效性不同。保守起见,策略哥特地回测了近几年山东华鹏相同指标形态的出现次数及后续影响,数据发现山东华鹏从2020年起共出现过19次TRIX金叉。
TOP6热点:为什么「哪吒 2」比「哪吒 1」火HDΧΧΧΧX18
彩客新能源(01986)发布公告,于2023年9月5日斥资约38.25万港元回购股份33.7万股,每股回购价格为1.13-1.14港元。
TOP7热点:东契奇湖人首秀人与畜禽corporation怎么读
与制氢相关的PEM电解水制氢催化剂的在研项目达到完成百克级稳定生产阶段。
保守起见,策略哥特地回测了近几年开立医疗相同指标形态的出现次数及后续影响,数据发现开立医疗自2020年起共出现过55次股价突破BBI均线的情况。
TOP8热点:周杰伦宣布要发新专辑铜铜铜铜铜铜铜好多疼
保守起见,策略哥特地回测了近几年富创精密相同指标形态的出现次数及后续影响,数据发现富创精密自2022年起共出现过34次杯柄形态、底部抬升的情况。
创胜集团-B(06628)发布公告,于2023年9月5日,该公司斥资11.22万港元回购2.65万股,每股回购价为4-4.2336港元。
TOP9热点:麦当劳涨价日本人AA制是不是很凉薄
于提交上市申请时,北京兆信按当时北京证券交易所的上市规则及惯例,提前确定的发行底价为每股兆信股份人民币6.5元,最终发行价将由北京兆信董事会及其主承销商根据询价结果,并经考虑市场情况、北京兆信的成长性及发行前一定期间的交易价格等届时的因素后公平磋商厘定。鉴于北京证券交易所的上述新举措,北京兆信董事会已相应决议,北京兆信将以后续询价或定价结果作为发行底价,取代上述提前确定的发行底价。
“策略之王”发现,南山智尚出现阳包阴的同时,股价站上5日均线,表示短期多方强势,上涨信号得到了进一步的确认。
TOP10热点:哈弗茨赛季报销99国精产品
但个股市值体量、股性以及所处的市场环境不同均会影响三连阳策略的有效性。保守起见,策略哥特地回测了近几年开滦股份相同指标形态的出现次数及后续影响,数据发现开滦股份从2020年起共出现过11次三连阳且缩量的情况。
中科曙光目前正处于杯柄区域,投资者应该密切关注中科曙光的成交量,杯柄交易区间的突破标志往往是成交量的大幅变动,这或许也是先前上涨趋势的延续开始!