原神女角色张嘴流眼泪翻白眼原神女角色张嘴流眼泪翻白眼DeepSeek爆火后,他的研究员们怎么样了_ZAKER新闻
原神女角色张嘴流眼泪翻白眼DeepSeek爆火后,他的研究员们怎么样了_ZAKER新闻
日前,国家自然科学基金委员会宣布,将强化基础研究前瞻性、战略性、系统性布局的资助部署,构建基础研究人才长周期培养机制。
对于 AI 圈来说,这个春节是 DeepSeek 冠名的春节。所有人都在讨论它,DeepSeek 成了前所未有出圈的 AI 产品和公司。这种讨论伴随着中美竞争、美股暴跌、神秘天才与暴富流言等大家喜闻乐见的话题,不可避免的走向了神化 / 妖魔化的方向。但 DeepSeek 的研究员们怎么样了?他们在忙些什么?虽然这是个极其低调的公司,但同时作为一家鼓励自己的科学家获得学术成就,尤其是被其他人 follow 的成就感,以及以极致的开源为根基的 AI 研究公司,DeepSeek 的年轻科学家们其实在社区里也很活跃,他们是一个个具体而鲜活的研究员。与那些夸张或臆想的文章获得的大量关注不同,这些研究员们的一手讨论与分享往往阅读量很少。但对于真正想要了解这家公司的人来说,与其想象,不如看看这些研究员们真实的分享。" 乐子人 " 和 "Infra 团队里随便一个人 " 们在 X 上做些搜索和研究,你会发现,最明显的感受是,DeepSeek 的研究员们没有 OpenAI 或者其他明星研究员那种浓浓的 PR 味儿。这些账号充满人味。比如,认证为 DeepSeek 机器学习和多模态研究员的刘星超,给自己的简介是 " 乐子人 "。根据公开资料,他博士毕业于德克萨斯大学奥斯汀分校,目前是 DeepSeek 多模态组成员。他一直在推特上分享自己的工作,像每个研究员那样,关注着大佬的反馈。他参与的 DeepSeek 多模态模型 JanusFlow 被知名 AI 学者谢赛宁转发,当在他的分享下方,有人提到对模型的 target encoder 的好奇时,他直接回复对方。这些分享在当时并不会被很多人看到,但却是研究员们的日常。这些 DeepSeek 研究员们的账号还有个共同特点,他们都在关注着同行的工作,并为他们点赞,有时候也好奇追问。在爆火之前,很多时候他们跟我们这些普通关注者一样,发出的信息石沉大海。邵智宏实习期间成为 DeepSeek Math 的核心作者之一,后来参与了 R1 等模型开发,他在推特上不停给 o1 和 Gemini 的成果点赞,给这些团队留言祝贺,像极了我们关注 AI 各种进展的每个普通人。而在 DeepSeek 火了以后一切也发生了变化。邵智宏在发布 DeepSeek Coder 模型时的转发,阅读也只有 2000 多。而 R1 终于一朝成名天下知,他随便转发就有几十万的阅读。于是这些习惯于简洁明了做学术交流的推文以及回复,也开始带上能力宣示的意味。DeepSeek 基础设施团队的许哲安在 V3 因成本而引发热议后在推特的一句简单回复,得到 4.6 万的阅读。" 你们真的只用了 2000 个 H800 就做出了这个模型?""yes"而他给自己的简介是 " 基础设施团队里随便一个人 "。在努力之后,他们确实得到了梁文锋在专访里所说的,被 follow 的成就感。不懂 RL 的数学天才分享在 DeepSeek 的研究方式另一个直观感受是,这些研究员的背景很不一样。此前有接近 DeepSeek 的人分享的招聘经历称,DeepSeek 喜欢找复合背景,尤其基础学科的人才。而在关于 DeepSeek 的技术报告的讨论里,有人形容其中公式简洁明了,把 SFT 和大多数的 RL 类型统一到了一个公式里。这种对算法的理解——所有这些训练方法是事实可以被构建为同一个数学原理,是简洁而美妙的。很多人认为这最终是依靠数学的品味。而参与了 DeepSeek 几代重要模型的 Peiyi Wang 则在推特上,直接分享了自己的研究历程:" 去年我加入 DeepSeek,没有任何强化学习经验。在进行 Mathshepherd 和 DeepSeekMath 研究时,我独立推导出了这个统一公式,以了解各种训练方法。感觉就像是一个 " 顿悟时刻 ",尽管我后来意识到这些就是 Policy Gradient(策略梯度)。"这种思考体现在 DeepSeek 的好几个模型里:不拘泥于现有的思路,不拘泥于 RL 或者任何已有的算法分类带来的约束,从模型能力本身来思考。梁文锋也曾提到,DeepSeek 最重要的一个架构创新 MLA,就是一个年轻人 " 在总结出 Attention 架构的一些主流变迁规律后,突发奇想去设计一个替代方案 "。和其他研究员一样,翻看 Peiyi Wang 的推特,他也一直在和社区交流自己的研究,而在 DeepSeek 被更多人关注到后,他第一时间分享的是好奇心。把真实情况分享给社区的开源精神明显。这种分享在今天越来越不说人话创造大词的 AI 圈里,能带来十分难得的接地气的讨论。对 DeepSeek 内部来说,超越 ChatGPT 有多重要大部分时候,这些研究员在各自关注自己关心的领域,但最近他们有个共同的庆祝时刻:超越 ChatGPT。多个研究员转发了 DeepSeek 的 app 登顶应用商店并超过 ChatGPT 的新闻。" 每一次突破都提醒我们,还有很多东西需要学习和改进。让我们一起继续突破界限!"" 这个时刻对我来说简直太现象级了。" 潘子正写到。此前他在英伟达的导师曾分享过他的经历,曾在英伟达实习的潘子正在 2023 年却毅然决然回国加入了当时只有 3 人的 DeepSeek 多模态团队。现在这个决定带来了兑现的时刻。从这些反应也可以看出来,对于内部来说,瞄准和超越 OpenAI 是一个多么关键的历史时刻,对他们来说意义有多重大。而在 OpenAI 传出对 DeepSeek 的蒸馏指控后,这些研究员也做出了隔空回应:" 鲸鱼帮每个人提前蒸馏好了。好笑吧。" 刘星超写到。这也是少有的带有火药味的回应。在 R1 系列的技术报告里,DeepSeek 用 R1 系列模型为 Qwen 等更小模型做好了蒸馏,供社区直接使用。从这些分享也能看出,在内部,战胜一次 OpenAI 对他们来说有多重要。另一个最近让这些研究员纷纷转发的,是对一个虚假账号的辟谣。一个冒充梁文锋的账号在推特出现,还得到大量关注。" 这不是我们的文锋 ",多个 DeepSeek 研究员忙于转发辟谣。能看出 DeepSeek 最近爆火后的困扰。从这些研究员的分享看,R1 系列的发布原本就是一个春节礼物。但看起来这个效果出乎他们自己的预料,也加速了他们和 OpenAI 的继续竞争。" 春节期间让我最兴奋的事情,是亲眼见证了 R1-Zero 模型性能曲线的 持续增长,并真正的感受到强化学习的力量。"DeepSeek 研究员郭达雅在推特上感慨。他 2023 年刚刚博士毕业,参与了 DeepSeek 一系列数学和代码的模型工作。而他也由此开始做了一次难得的小型问答,并被大家以对待 OpenAI 自己爆料的规格对待,认为这是难得的剧透。在几个问答里,透露了一些令人兴奋的信息。—— " 想问下模型的性能持续提升能持续多久呢?现在是早期阶段吗?DeepSeek 的 RL 模型是像 GPT-2 时刻一样还是已经到 GPT-3.5 这种比较成熟的阶段,快到瓶颈了?"郭达雅: " 我觉得我们还处于非常早期的阶段,RL 领域还有很长的路要探索。但我相信今年会看到显著的进展。"—— " 基于 R1-Zero 的性能,如何评估模型是真的具备了泛化能力,还是仅仅记忆了状态转换和奖励 ?"郭达雅:" 我们使用 RL prompt 未覆盖的领域的基准来评估泛化能力。目前来看,它似乎具备泛化能力 "—— " 这次 RL 训练跑了多久?"郭达雅: "660B 参数的 R1-Zero 和 R1 是在 V3 发布之后才开始跑的,训练大约花了 2-3 周。之前我们提到的 R1 模型其实是 R1-Lite 或者 R1-Lite-Zero"—— " 你们有没有尝试用 RL 来搞 形式化证明环境,而不是只做问答对?今年如果有开源模型能在 IMO 拿金牌就好了。"郭达雅: " 我们也在尝试将 R1 应用于 Lean 这样的形式化证明环境。我们希望尽快向社区发布更好的模型 "—— " 下一个模型更新?"郭达雅:" 我们并不确定模型会在何时更新,因为它取决于实验的进程。我们没有设置 deadline。但当模型有显著的进步时,一般我们自然就会做发布和更新。"这些回答信息量巨大,更重要的是,它们显得十分真诚,都关乎 DeepSeek 的核心技术和发展方向,回答也都围绕技术本身,没有故弄玄虚,没有在刻意用那些 AGI 的叙事去收获泡沫式的关注,讨论的都是具体而真实的研究。此前,前 OpenAI 的研究员 Andrej Karpathy 曾说,今天 AI 界真正在改变世界的爱因斯坦们,可能在架构表里藏在 CEO 以下 5 层。从对 DeepSeek 的组织形态的各种研究来看,这是一个极其扁平的组织,有 OpenAI 和英伟达的味道,不论层级,可以直接像 CEO 汇报,也可以跨部门打散整合,因此不同模型能力也可以随时因重要的创新而共同协作。而对于一个注定要影响人类未来的技术,把它交给每天都有新的莫名其妙的新名词出现的团队,和把它交给看起来依然是热情洋溢的鲜活的个体的团队,后者可能更能让普通人对关键的话题参与进去。这些具体在做着自己相信的研究的年轻 AI 科学家,看起来确实在改变着世界。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李宗仁
TOP1热点:孙颖莎林诗栋单打世排第一
新华社发(曾祥辉摄)。
在县一中上学后,我和这座红色老城有了更多亲密接触。1993年春,廖汉生将军来到县一中看望师生。原来这里是他的母校,他曾在这里上过红军大学……英雄的故事让我对这座城市肃然起敬。
TOP2热点:国乒男单包揽世排前三
中新网伦敦8月4日电(记者欧阳开宇)8月4日,英国联合工会表示,英国航空约24000名员工将在18个月内获得13.1%的加薪。
涿州发生汛情后,河北省加强各级救援力量协调联动,目前共有各类专业应急救援力量300余支、6913人参与涿州现场救援。
TOP3热点:官方回应招博士需28岁以下搞机time下载不用不收钱嘉兴
在县一中上学后,我和这座红色老城有了更多亲密接触。1993年春,廖汉生将军来到县一中看望师生。原来这里是他的母校,他曾在这里上过红军大学……英雄的故事让我对这座城市肃然起敬。
一个国家生生不息的历史文脉如何传承赓续?一个民族绵延不绝的悠久文明如何发扬光大?带着这样的深邃思考,今年6月2日,习近平总书记出席文化传承发展座谈会并发表重要讲话。
TOP4热点:卫生巾品牌集体被骂并不冤拔萝卜一边喘气一边说痛怎么办呢
两岸青年参观琦君文学馆。
TOP5热点:被李明德砸车车主说绝不和解噼里啪啦完整版高清免费观看
那段时间,王陆芬心里沉甸甸的。重新设计,我哪有那水平?可仔细想想,谁也不是天生就会的,没水平我可以学呀!王陆芬找来资料,开始自己琢磨。忙活了一个多月,她自己设计的绣品还是没人要。
TOP6热点:德罗赞绝杀独行侠我把肛门塞
在当天最引人注目的一场强强对抗中,中国棋手范廷钰九段负于韩国等级分排名第一的申真谞九段。另外两位晋级16强的韩国棋手是金明训和朴键昊,他们分别战胜了中国棋手李维清和杨楷文。
TOP7热点:杨子身材一面膜上边一面膜下边韩国
“全国芒果看广西,广西芒果看百色”,全国每4个芒果就有1个产自百色。据了解,2022年,百色芒果种植面积和产量均占全国的30%,百色芒果综合产值达134亿元。“十三五”时期,百色芒果产区超过25万人通过种植芒果实现脱贫。百色小芒果发展成为绿色大产业,是脱贫奔小康的“致富果”,为革命老区实现乡村振兴提供了强有力的产业支撑。
“目标信息已捕获!”盛夏岭南,某野外驻训场尘土飞扬,第74集团军某旅正在组织装甲步兵分队战术演练。
TOP8热点:广西高中性侵案表姐发声ДPABCT妈妈BbЙTE
8月4日,匈牙利首都布达佩斯著名地标链子桥经过两年全面翻新后,重新向行人开放。
TOP9热点:宁忠岩1000米夺金特大BBWBBWBBW高潮
广大考古工作者筚路蓝缕,在中原厚土不断掀开华夏文明尘封的历史,围绕裴李岗文化、仰韶文化、河南龙山文化、二里头文化等持续开展研究,逐步建立起考古学文化的年代序列,明晰了中原地区各考古学文化在中华文明起源过程中的定位。
TOP10热点:马云现身阿里园区和大家热情打招呼杨玉环乳液狂飙
看到越来越多的人关注这些照片及其背后的故事,张崇岫欣慰不已,“这是对志愿军那段可歌可泣战地岁月的认可”。面对各方赞誉,张崇岫说:“记录这些场景,为历史留下见证,是当时组织、上级以及那个时代交给我的使命。不认真记录下来,怎么向后人交代?我就是一个摄影人,一个为人民、为社会、为国家服务的摄影人。”