在线黑网吃瓜网红_市场快讯_前百度研究院副在线黑网吃瓜网红院长新项目：给手机、PC做可用的大模型基础设施，前微软高管加入

前百度研究院副在线黑网吃瓜网红院长新项目：给手机、PC做可用的大模型基础设施，前微软高管加入_ZAKER新闻

“一钱不落虚空地”。完善科研人才激励机制既要加强科研创新激励，又要完善薪酬管理监督。一方面，在高等学校、科研院所薪酬制度改革试点中探索经验，优化和规范分配制度，取消各种不必要的限制和拘束，推动科研经费与科研人员之间关系的转变，让经费为人的创造性活动服务，而不能让人的创造性活动为经费服务，使科研经费真正成为科技创新的助推器。根据不同创新主体、不同创新领域和不同创新环节的智力劳动特点，实行有针对性的分配政策，统筹宏观调控和定向施策，探索知识价值实现的有效方式。另一方面，加强事中事后监管，健全薪酬监督机制，实现薪酬水平适当、结构合理、管理规范、监督有效，把国家的钱用在人才激励和事业发展最需要的地方，推动科研创新激励与经济社会发展的良性互促。

文｜邓咏仪编辑｜苏建勋《智能涌现》独家获悉，前百度研究院副院长李平的新创业公司 VecML，近期已经完成了产品的探索和初步研发。值得注意的是，VecML 近期还邀请到了前雅虎和 Ebay 首席科学家、前 Walmart 副总裁，和前微软技术高管 Jan Pedersen 博士，出任 VecML 首席战略官（CSO）。VecML 创始人李平博士，于 2007 年博士毕业于斯坦福大学，获得统计学博士学位，计算机科学硕士学位和电子工程硕士学位。博士毕业后，李平曾在康奈尔大学和罗格斯大学任教，并于 2013 年成为计算机系和统计系终身教授，并在 www.csrankings.org 的全球计算机大学和学者排名中名列前茅。△李平李平是完整经历了上一个 AI 1.0 时代，且在国内大厂完整经历了从 0 到 1 搭建 AI 团队的顶级技术专家。创业前，李平任微软（LinkedIn）公司的杰出科学家。加入微软之前，李平曾经是百度首席架构师（T11）和百度研究院副院长，并且直接管理百度认知计算实验室（Cognitive Computing Lab，CCL），落地成果包括超大规模深度学习 GPU 平台、多模态向量检索和生成、强化学习、知识图谱等生成式 AI 的核心技术。自 ChatGPT 推出后不到两年，如今生成式 AI 浪潮的关注焦点，已经迅速从基座大模型快进到 AI 应用落地。尽管生成式 AI 浪潮的发展速度，已经比历史上任何一个互联网浪潮都更快，但在今年，AI 界的共识并不十分牢固——对于 " 超级应用 " 的质疑、对 OpenAI 下一代大模型的疑问和不安，某种程度上，都是 AI 界和公众热切期待的映射。同时，这也体现出：生成式 AI 技术的落地，仍在相当早期的阶段。在 2024 年选择成立 VecML，就是李平对于 AI 应用落地难题的冲刺尝试。VecML 希望能够做下一代端侧 AI 的基础架构和边缘计算平台，让端侧的设备，也能完成更高难度的大模型计算。端侧，即手机、PC、家电等各类终端设备。如今市面上的 AI 大模型，即使是在手机上展示输出结果，但绝大多数的计算都通过云端进行。有分析数据显示，目前端侧 AI 只占整个 AI 市场 5% 的份额。原因在于，大模型的体量太大，而 PC 或手机的芯片，其计算和内存能力又太有限。这是 AI 应用落地当下的最大桎梏。对比普遍在数千亿至万亿参数的大模型，现在的手机端最多也只能运行量化后的 70 亿（7B）参数内的大模型，也就是说，纯靠端侧的算力，只能承载最简单的应用，如基础的文字对话、生图等等。如果想让 AI 应用真正走进大众的生活，现有的端侧 " 基础设施 " ——从端侧的电池、芯片等硬件，到软件侧的响应速度等等，达到 AI 应用能够爆发的阶段，还有很远距离。从年初成立新公司至今，VecML 已经推出了一套端侧 AI 基础架构和边缘计算平台。这可以看作是一个部署、开发端侧 AI 模型的 " 工具箱 "，企业客户通过这个平台，能够完成端侧 AI 的部署和运行。△ VecML 平台的主要组成部分：端侧大语言模型和优化平台；基于神经网络相似度的向量数据库和知识库；RAG 服务平台；安全和隐私保护平台；机器学习平台，包括联邦学习和分布式计算；李平对《智能涌现》表示，VecML 团队均来自微软，百度，亚马逊等 IT 巨头或者顶尖大语言模型团队，在 AI 模型安全、隐私计算、大规模分布式计算、联邦学习、模型压缩和数据压缩等领域都有核心原创技术贡献。这是做好端侧 AI 的必要条件。在当前专攻的在端侧 AI 领域，团队也有多年的专业积累。比如，在 2017 年的 NeurIPS 上，李平的一项工作即证明了量化压缩的最优平衡点是 3-5 比特。而现在流行的端侧大模型，即是 4 比特和 3 比特模型。而比起大模型的参数、训练工程之巨大，端侧的核心开发难点，可以说是要怎么在极小的模型和极小的内存空间上精细雕刻。" 比如，手机上的模型只有云端模型百分之一的参数、和千分之一的上下文长度（即每次和模型交互，单次输入的文本长度）。如果要做好 RAG 功能，在云端大模型上，如果不计成本，只要直接扔文件进去就好，但在手机上大模型需要在文件中，精准找到直接相关的文件部分，加起来不能超过数百 token，再放进提示词中。" 李平对《智能涌现》解释。△基于 VecML 开发的，可以运行在 Android 手机上的 APP，不需联网当前，基于 VecML 开发的手机端大模型应用，已上线了包括本地视频 / 图像搜索、智能本地文件搜索等等功能，调用速度也显著快于基于云端的大模型。如果 AI 可以全部或部分在端侧完成，这意味着什么？首先，企业在云计算上的开销就基本没有了，对企业成本和社会成本的节省将有巨大意义。另外，因为用户数据的存储和计算都在本地，AI 大模型涉及的隐私问题会得以有效解决——就在前不久，苹果 AI 的隐私隐患就被马斯克猛烈抨击。而在 8 月，荷兰数据保护局（DPA）在其官网宣布对优步 ( Uber ) ，因为其把欧洲用户隐私数据传回美国，处以 2.9 亿欧元的罚款。这也会很有效地提升算力利用效率。分布式计算天然和端侧 AI 紧密相关。数量巨大的端侧设备可以联合起来一起训练或者推理，真正把端侧算力充分利用起来。有效的分布式计算需要解决非常多的技术难题，包括隐私保护，数据压缩，高效数据传输，高效优化算法等。VecML 所在的 AI Infra 赛道，是链接算力和应用的中间层基础设施。在基座模型仍在快速迭代时，其 " 承上启下 " 的地位更加重要——如何充分挖掘现有模型的潜力，决定着 AI 应用能够走多远、多深。对模型前沿技术的突破，就至关重要。谈及 VecML 的优势，李平表示，当前公司已积累的多项原创技术，可让端侧 AI 的计算效率大大提升。比如，手机上存储的数据很多都为非结构化数据，需要通过建立向量关系，来让 AI 可以准确搜索到这些数据。目前，业界在手机上使用的向量数通常不超过 20 万，但通过 VecML 的原创方案，可以在降低内存 10 倍的前提下，也不影响 AI 搜索速度，这意味着手机上可以建立上千万向量的数据库。另外，在隐私保护层面，两种主流技术路线包括多方计算和差分隐私，但都有其局限。其基于加密解密的多方计算速度太慢，远不能满足实用需求；而基于差分隐私算法因为对精度损失太大极少被工业界采用。当前，VecML 的原创隐私保护技术，已经可以在基本上不影响精度的前提下，达到数学上严格的隐私保护要求。近期加入 VecML 的 Jan Pedersen 博士，是一位 AI 界老兵。他在 1998 年就在搜索先驱公司 InfoSeek 任总监，和如今的百度 CEO 李彦宏曾经是同事。Jan Pedersen 曾于 AltaVista、雅虎和亚马逊担任过首席科学家职位，而后加入微软。2016 年，他被任命为微软集团的 Technical Fellow，当年这是在全球仅有 20 位的高管。△ Jan Pedersen 博士据 Bessemer 2024 年的 AI Infra 报告，生成式 AI 浪潮来临后，数据数量，尤其是非结构化数据，到 2030 年预计将激增至 612 ZB，这将逼近现有基础设施的极限，也在倒逼其进行更新。因此，从 2023 年开始，AI Infra 的创业热度大大提升，从 AI 训练、框架、观测、部署、评估等等环节，都有不少公司入局，开发相应的基础设施平台产品。这个赛道接下来或许要迎来一场加速战。如今，全球手机、PC 厂商都把 AI 作为发展重点，端侧 AI 是他们不能允许自己错过的下一代入口。而就在这个 9 月，苹果正式发布第一台 AI 手机 iPhone 16，也又一次把大众对端侧 AI（Edge AI）的关注，推向新高峰。封面来源｜视觉中国

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:刘造时

TOP1热点：美国制裁中国低速载人车辆「三蹦子」初步裁定标准已出，中国三蹦子对美国车企影响有多大？

本报北京7月23日电（记者喻思南）22日晚，“齐心奋进新时代科技放飞梦想――科技馆里的思政课”活动在中国科技馆举办。航天英雄杨利伟和英雄航天员叶光富来到现场，分享自己的追梦故事，并与青少年学生代表互动交流，为孩子们种下航天梦想。。

回收的海洋塑料垃圾经过压缩破碎后，被送到造粒工厂制作成塑料粒子，再根据客户需要制作成手机壳、服装、鞋子等商品。浙江蓝景科技有限公司海洋事业部总经理陈亚红说：“经国际认证的海洋塑料粒子，比传统再生塑料升值1倍以上，而以海洋塑料垃圾为原材料生产的产品，售价要比同类产品高两倍。”

TOP2热点：走职业围棋需要智商多少？

2019年底，西北工业大学太仓长三角研究院引进了专长于航空发动机管路系统的华易航团队。在研究院主导的科技企业孵化器“航小天”的精心孵化下，到2022年3月，华易航就顺利“毕业”。

中新网7月24日电据中央气象台网站消息，24日至26日，四川、重庆、贵州、云南北部等地有中到大雨，四川中南部、重庆南部、贵州北部等地的部分地区有暴雨，局地大暴雨。未来10天，新疆盆地地区、甘肃西部、内蒙古西部高温天气持续，最高气温一般有35～38℃，局地可达40℃以上。

TOP3热点：孩子问「摔炮里面都是小石子为什么会响」该怎么回答？斗1斗2大乱斗交大配小舞

选好树建好防护林，许多成熟的治沙研究成果得到应用

近年来，我国防灾减灾科技创新工作不断取得新进展，防灾减灾能力明显增强。在全国防汛关键期，如何发挥好科技支撑作用？各地奋战在防汛一线的科技工作者这样说――

TOP4热点：ave mujica 第四集结尾，mortis 是真破防了还是在演？美女后入式

奥赫亚说，期待阿根廷运动健儿在本届大运会上取得优异成绩，同时也希望他们能在大运会赛场上学习和体验不同的文化。

TOP5热点：《崩坏：星穹铁道》3.0 中的「迷迷」到底是谁？沈娜娜苏娅闹元宵在线

以“利益联结机制”推动全产业链现代化发展模式，帮助合作牧场数字化转型，是伊利向数字化、智能化升维的“打法”。“伊利针对养殖业开启智能化建设之路，重点攻关研发了牧业智慧系统‘伊起牛智慧牧业生态系统’，免费提供给合作牧场使用。”张剑秋认为，实现上游奶牛养殖业数字化、智能化转型升级，为全行业迈入现代化发展打牢基石。