艺术焦点-"闺蜜交换"-大模型一体机成趋势！模型微调重闺蜜交换要性凸显浪潮信息最新入局|行业动态

大模型一体机成趋势！模型微调重闺蜜交换要性凸显浪潮信息最新入局|行业动态

　　她表示，IPCC（联合国政府间气候变化专门委员会）第六次评估报告指出，在全球气候变暖的背景下，20世纪中叶以来，已经观测到许多极端天气气候事件的变化，其中，高温热浪频发多发是一个非常显著的特征。所以，气候变化背景下高温热浪事件将成为一个新常态，预计今后夏季类似的高温酷暑出现的频率会比较多，高温持续时间长的特征也有可能越来越明显。

财联社9月30日讯（记者付静）当前中国10亿参数规模以上大模型数量已超100个，技术虽蓬勃发展而实际落地程度仍待提升。近日于郑州召开的2024中国算力大会上，财联社记者观察到，大模型应用落地仍受到产业链关注，一体机则成为大模型商业化探索过程中一大热门趋势，算力硬件厂商浪潮信息（000977.SZ）亦在此次大会上推出元脑企智EPAI（Enterprise Platform of AI）一体机，提供“算力+平台+服务”的大模型解决方案。浪潮信息产品方案开发部总经理魏健在接受财联社在内媒体采访时表示，“应用现状跟市场趋势存在鸿沟，怎么让企业，特别是传统企业把大模型应用快速落地，基于这样一个背景，我们做了大模型一体机。”此前工信部赛迪研究院数据显示，2023年我国AI企业新增368家，生成式AI的企业采用率已达15%，其中制造业、零售业、电信行业、医疗健康四大行业采用率分别为5%、13%、10%和7%；预计2035年生成式AI有望为全球贡献近90万亿元经济价值，其中我国将突破30万亿元，占比超四成。同时魏健在采访中提及一组数据：AI市场公开招投标的项目中，去年全年、今年上半年硬件方面占比分别约60%、61%，软件方面占比分别约11%、5%，今年上半年服务方面占比从去年的17%升至30%以上。“相当于说是硬件和服务占了项目总金额的90%以上。”魏健称，此次浪潮信息发布的一体机主要面向制造、金融等行业客户、传统ISV和SI三类用户。以SI为例，“多模管理也好、多元算力管理也好，还需要有对大模型专门的调优能力，我们可以把服务集成到一体机产品里。”据悉，元脑企智EPAI一体机基于为大模型应用场景设计的元脑服务器，预置元脑企智EPAI企业大模型开发平台，支持8颗NVIDIA最新Hopper架构GPU全互联在内的多元算力，预置Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7个基础大模型，旨在解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等问题。财联社记者注意到，元脑企智EPAI一体机涵盖五种产品规格，主要面向推理、训推一体化、整机柜集群化交付等场景。（受访者供图）“推理算力是一个很重要的增长方向，尤其是边缘端推理。无论车路协同、智慧园区还是高速收费站等，边缘领域的推理应用关注不同的产品形态。”魏健向财联社记者表示。“大模型其实从预训练、微调到推理有大概三个阶段，现在业内的关注点已经走到了微调跟推理，并且微调的重要性越来越凸显了。”浪潮信息AI应用架构师Owen ZHU在采访中表示。Owen ZHU称，此次发布的一体机亦集成了部分当下与算力相匹配、在业内较为可用易用的微调技术。他举例称，“一个10B参数的模型可能需要200-300G的显存才能做微调，可能一台机器就已经开始有点‘勉强’了，更何况我们现在用的都是30B、40B的模型，至少需要三四台机器，门槛也有点过高了。现在一些高效微调技术能做到用10G甚至不到10G的显存把10B参数的模型微调跑起来。也就是说，一些新技术的应用能够降低算力门槛。”而站在成本角度，魏健告诉财联社记者，浪潮信息大模型一体机新品单台价格在二三十万到两百万之间，“如果用户有50万左右的硬件设备初期投入，就可以进行至少10亿到300亿参数规模的模型训练，且在单机设备上用到更好的算力。”同时她表示，浪潮信息对用户的报价为一体机整体报价，但“如果把一体机拆开来看，硬件可能占80%，软件占20%。我们是一个产品公司，做这个商业模式，更多还是为了激发整个行业生态的应用。”“一体机的生意逻辑是对的，是否受客户认可比较关键。”一位AI算力从业者告诉财联社记者。财联社记者问及当前用户对于大模型一体机的接受意愿，魏健表示，“我了解到接受意愿还是挺强烈的，（一体机）和一些传统硬件用户的使用习惯还是蛮匹配的。我们在过去三、四个月里做了近百家的POC测试，有意愿去做应用定制开发、让我们整理数据等等的用户其实能占到30%。”值得关注的是，大模型一体机在业内热度较高，智谱AI、商汤科技、中软国际等主流AI大模型厂商、ICT服务商及ISV服务商均已推出一体机相关产品。Owen ZHU称，“大家都在叫一体机，但其实内涵差距是比较大的。可能我们最开始听到一体机的概念时是在讲训推一体，而现在我们在讲的是把硬件跟面向大模型的解决方案整体打包的方案，是一个大模型的开发平台。”“大模型厂商有的实际上跟我们是合作伙伴关系，但是我们的一体机跟他们有差异。大模型厂商在软件、算法能力方面很强，我们更强调算力的调度管理、算法的调度，跟不同模型做适配，包括对模型参数也做了很多研究，其实还是为了更好地发挥硬件性能优势。”魏健告诉财联社记者。