产业新闻-"abw311八卦海链接"-一体机是大模型行业侧落地的重要“棋子”么？

一体机是大模型行业侧落地的重要“棋子”么？_ZAKabw311八卦海链接ER新闻

7月19日晚上10点多，潮新闻记者联系唐尚珺时，他说自己这几天都没睡好，接下来将积极争取补录，“在研究（补录志愿），明天确定。”他说自己还是打算填报师范方向的专业或农学，“其他的像旅游管理、经济学、管理学之类的，我觉得不太适合我。”

2024 年，大模型的产业落地开始显著提速。据统计，2024 年上半年，大模型可统计到的中标金额约 9.38 亿元，已经远超 2023 年全年大模型中标项目披露金额（7.89 亿元）。如果说 2023 年是大模型元年的话，那么 2024 年就是大模型在行业侧应用爆发之年。大模型从 " 大 " 到 " 专 "今年以来，随着大模型技术的不断完善，能力不断增强，大模型也受到了 ToB 行业的关注，大模型的能力在越来越多的行业场景中应用落地。对于大多数产业以及企业主体来说，如何实现 AI 赋能现有的技术、业务，是最现实的命题，也是企业是否能在新一轮技术周期中保持活力的要素之一。在浪潮信息产品方案开发部总经理魏健看来，要实现大模型的广泛落地与深入行业应用，没有大模型不行，但只有大模型也不行，" 大模型在行业侧落地的关键在于如何有效提高 AI 应用创新的质量和效率。" 魏健强调。目前大模型在行业侧应用过程中仍存在诸多挑战。首先，硬件层面，大模型的训练过程需要庞大的硬件算力资源支撑，随着模型参数规模的持续扩张，对算力的要求也越来越高。这不仅增加了成本，也对硬件设备的性能提出了更高要求。包括 GPU 在内的诸多大模型训练、推理的硬件设备价格昂贵，又因大模型在行业的应用仍处于初期阶段，效果还不可量化，在企业都注重 ROI（投资回报率）的大背景下，对于硬件设备的采购成为行业应用大模型的第一道坎，对此，青云副总裁沈鸥告诉钛媒体 APP，很多企业出于 ROI 的考虑，不愿意在一开始不知道效果的情况就投入大量的财力和人力，" 企业大多选择小投入的方式先‘试水’，这就需要业务部署的速度快，见效快。" 沈鸥如是说。魏健也有着相似的看法，她告诉钛媒体 APP，要实现大模型与行业场景的深度结合，实现高效、高可靠、高质量的模型应用效果，涉及复杂的开发环节，技术门槛高且开发周期长，而且更难以回避的问题是：在大模型爆火的当下，搭建 AI 开发和实施团队的成本变得极高。其次，从现阶段应用上看，企业在使用模型赋能业务的过程中，选择参数量小的模型效果要好于大参数量的模型，" 巨大参数量级的通用大模型，很难直接用于复杂、离散的行业场景，各行业知识专业化程度高，可迁移性低，通用大模型本身难以覆盖，所以经常出现大模型 " 幻觉 " 或是 " 胡言乱语 " 的问题，这是企业大模型无法承受之重，因此必须结合行业专业数据进行再学习。" 魏健告诉钛媒体 APP。除此之外，企业用户在大模型开发和应用的过程中还面临着，在部署本地化、私有化大模型时，部署经验不足、性能优化瓶颈、算力资源利用不合理等挑战，难以在保障数据与业务隐私的条件下构建和使用本地化大模型应用。面对这些挑战，企业在大模型应用初期更需要一套一站式的解决方案来部署大模型，通过软硬件协同的一体化设计，具备快速交付、开箱即用、极致性能、安全高效的大模型开发的能力的一体机就成为当下企业在部署行业模型过程中的极佳选择之一。一体机成为行业大模型落地新宠公开数据显示，在 2023 年和 2024 年上半年，大模型项目中硬件、软件和服务的占比分别为：硬件占比 60% 和 61%，软件占比 11% 和 5%，服务占比 17% 和 30% 以上。‌这一数据表明，在大模型项目中，硬件和服务占据了主要地位。魏健告诉钛媒体 APP，从一些数据中可以看出，硬件和服务目前是大模型项目中投入最大的部分，而对于一些传统行业企业来说，如何能快速的让大模型落地，已经成为了当下最关键的一个问题，而一体机是一个很好的选择。无独有偶，青云科技 CEO 林源也对钛媒体 APP 表示，当行业面临一项新技术的时候，大家会更倾向于软硬一体的解决方案，就好像在企业数字化转型之初，大家不惜重金购买 IBM 的大型机，而随着技术的发展，当一项技术变得更 " 通用 " 的时候，就形成了标准化的产品。才出现了当下的服务器厂商、软件厂商、数据库厂商等等细分化的厂商。" 这点在大模型时代亦是如此，当企业对于大模型在行业的应用好处于较初级的阶段时，一体机是一个能让企业快速落地大模型应用的好方式。" 林源指出。目前市面上常见的一体机产品主要面向的场景是：端侧的微调和推理的场景。从技术发展的规律上不难看出——每一轮技术的变革，技术的使用门槛、开发门槛都在降低，对此，林源告诉钛媒体 APP，这也就意味着用户群体更多，需求也会变多，也就会消耗更大的算力，"AI 变革也需要多样的交互模式，一体机是必不可少的一种。服务商可能也有会不同的侧重点，青云更聚焦软件与应用层面，比如针对医疗行业搭载帮助场景落地的应用。" 林源强调。从用户群体角度出发，魏健告诉钛媒体 APP，根据浪潮信息对客户的观察发现，浪潮信息发布的元脑企智一体机主要的客户可以分为三类，一类是传统行业的用户，" 诸如制造业用户，他们有一定的数据和人才的积累，通过一体机可以以较低的成本，快速的实现模型应用开发。" 魏健指出。第二类是 ISV（独立软件开发商）公司，随着大模型应用的爆发，传统的 ISV 公司也从原先的观望状态，逐渐开始布局大模型相关产品，而这个过程中，对于大模型软件开发而言，一体机的出现也能让这些公司以更低的成本，更快的速度开发出具备大模型能力的软件，从而快速的抢占市场份额。第三类则是大模型应用开发团队，以智谱华章为代表，一体机加上这些企业本身的产品化能力，软件硬件的产品化能力、工程化能力，以及是面向企业客户的服务能力、交付能力，形成互补，从而能帮助这些初入大模型行业的新晋玩家快速发展。" 除此之外，还有很多 SI 集成商也是训推一体机的受众，" 魏健指出，" 客户需要对大模型专门的调优能力，而市场上能提供这类服务的企业少之又少。"另一方面，从场景的角度出发，在林源看来，当下一体机更适合于一些标准化的小场景，" 对于复杂业务场景的用户而言，定制化肯定还是最好的选择，但是对于一些标准化的小场景来说，一体机提供的标准化的服务能让他们更快、更便宜的开发出自身需要的专有小模型产品。" 林源告诉钛媒体 APP。云厂商、硬件厂商，纷纷入局当下，一体机已经成为企业完成大模型应用开发，落地行业大模型应用过程中重要的一环，据钛媒体了解，目前市面上已经有包括硬件设备厂商、云厂商等在内的 20 余家企业布局一体机产品，业内期望通过软硬一体的产品解决方案，填平大模型应用现状与预期之间存在鸿沟，弥补生态培育的时间差，加速企业应用步伐。硬件厂商方面，以浪潮信息为例，在前不久浪潮信息就刚刚推出了元脑企智 EPAI 一体机，该一体机融合了元脑企智 EPAI 企业大模型开发平台和元脑服务器。元脑企智 EPAI 一体机通过软硬件一体化设计，提供一站式大模型生产及应用全流程开发工具链，同时支持嵌入各伙伴在大模型训练、微调和优化方面的算法和模型能力，共同设计、联合开发、协同上市、持续迭代，共同为终端客户提供更全面的 AI 原生应用开发 " 超级工作台 "。魏健向钛媒体 APP 介绍，此次推出的一体机产品共包含基础版、标准版、高级版、创新版和集群版五个版本，主要面向制造、金融等行业客户、ISV 合作伙伴以及大模型应用开发团队三类用户提供一站式大模型生产及应用全流程开发工具链，" 用户可以根据自身需求，选择不同版本的产品，‘丰俭由人’。" 魏健如是说。联想也于近期发布了全新的智能体一体机产品，在硬件方面 , 智能体一体机基于联想 ThinkStation PX 旗舰工作站打造 , 采用桌面级安装部署 , 避免了服务器需要专门机房运维的复杂性 , 大大简化了维护管理的工作量 , 极大地方便了运维操作。软件层面，联想智能体一体机配备了 " 联想智能体平台 ", 集成多种开源大模型、智能体样例及开发评估工具 , 并提供零代码开发功能 , 支持用户在短时间内以低门槛的方式创建智能体。除了浪潮信息、联想这些在服务器领域的领军者之外，其他诸如中兴通讯、趋境科技等企业也都纷纷入局，部署大模型训推一体机。另一方面，云厂商们也在今年纷纷加入到了一体机的市场中。以青云科技为例，青云科技基于早先退出的云易捷一体机，推出了 AI 智算一体机，也是为用户提供了一个开箱即用的 AI 环境，帮助用户快速构建、训练和部署 AI 模型。优刻得也推出了大模型一体机产品，该一体机基于一云多芯且自主可控的 UCloudStack 全栈私有云平台，提供虚拟化、存储、网络及 MaaS 模型的私有化一体交付方案，支持 Alpaca-LoRA、ChatGLM、T5、MiniGPT-4、Stable Diffusion、LLaMA2 及 Milvus 向量数据库等开源模型的部署及算力调度，用户可在本地或自有数据中心内，轻松部署针对特定场景的大模型服务。与硬件厂商的一体机不同的是，云厂商推出的一体机主要将能力重心放在本就擅长的软件和云平台层面，沈鸥告诉钛媒体 APP，在硬件层面，青云科技还是通过 ODM（原始设计制造商），而将更多的精力放在云厂商本身擅长的领域——软件和平台。无论是硬件厂商推出的一体机，还是软件厂商推出的一体机，除了各自的侧重点略有不同以外，其核心的能力还是相对一致的。魏健和林源都曾向钛媒体 APP 表示，作为一体机产品，首先要具备的就是开箱即用的能力，" 这个开箱即用的能力并不是说像手机那样直接让终端用户使用，而是面向 ISV 和应用开发者的开箱即用。" 林源告诉钛媒体 APP。其次，无论是浪潮信息推出的元脑企智 EPAI 一体机，还是青云科技推出的 AI 智算一体机，都为用户提供了一个开源开放的大模型平台，用户通过使用一体机可以对接到国内绝大多数主流的开源大模型，并任意调用这些大模型的能力来实现企业级模型软件和产品的开发，并且也都可以通过 OTA 等方式实现模型的迭代。（本文首发于钛媒体 APP，作者｜张申宇，编辑丨盖虹达）