幼儿交1300部多少钱OpenAI华人科学家翁荔：人类如何培幼儿交1300部多少钱养出下一代聪明且安全的AI技术_ZAKER新闻
OpenAI华人科学家翁荔：人类如何培幼儿交1300部多少钱养出下一代聪明且安全的AI技术_ZAKER新闻
梳理摩根标普港股通低波红利指数基金六大优势如下：
AI 如何变得更加安全？钛媒体 App 11 月 3 日消息，华人青年科学家、OpenAI 研究副总裁（安全）翁荔（Lilian Weng）近期在 2024Bilibili 超级科学晚上发表主题为《AI 安全与 " 培养 " 之道》的演讲。这是其首次在国内发表关于 AI 技术的演讲。翁荔表示，ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着人类。AI 每天都在变化，需要我们用心引导、教育，确保是更好的服务于人类，同时确保安全。而一个既安全又智能的 AI，无异于将为我们的生活带来诸多裨益。具体来说，随着 AI 的智能化和自主化，确保其行为符合人类价值观变得重要，AI 可能因偏见而变得狭隘，或因对抗性攻击而受到质疑。因此，需要用心引导 AI，确保其服务于人类并确保安全，而 AI 安全是实现其潜在益处的基础，类似于自动驾驶技术。从数据层面，提供多样、全面、正确的数据，可以减少 AI 的偏见，而依赖于多人标注的数据，以提高 AI 的准确性；同时，基于强化学习（RL）和基于人类反馈的强化学习（RLHF），通过奖惩机制训练 AI，类似于训练小狗；此外，使用模型自我评价和详细的行为规则来提升 AI 的输出质量。比如，在文档写作和视频音乐制作中，普通人可以通过设定背景、角色思想和关键词来引导 AI。翁荔毕业于北京大学信息管理系，如今该系名为北京大学数字人文实验室，她是 2005 级本科生，是 " 兜乐 " 项目的骨干设计人员，毕业后赴美攻读博士学位，曾就职于 Facebook，如今是 OpenAI 华人科学家、ChatGPT 的贡献者之一。翁荔在 2018 年加入 OpenAI，后来在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。她曾提出最著名的 Agent 公式—— Agent= 大模型 + 记忆 + 主动规划 + 工具使用。翁荔在演讲中表示，人类需要教会 AI 安全基本原则和道德准则，使其成为人类的伙伴。同时，通过思维链（CoT）推理和扩展性研究来提升 AI 的可靠性和监督。翁荔强调，AI 安全需要每个人的参与，社区可以共同影响 AI 的成长。"AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。AI 技术是一把双刃剑，它带来的便利和挑战并行，我们的参与至关重要。" 翁荔称。以下是翁荔演讲内容，经钛媒体 AGI 编辑整理：大家好，我是翁荔。今天我想与大家探讨一个既深刻又有趣的话题，AI 安全，以及我们如何像培养下一代一样，培育出既聪明又安全的人工智能。继 ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着我们的日常。AI 每天都在进化，需要我们用心引导与教育，以确保其更好地服务于人类，同时确保安全无虞。一个既安全又智能的 AI 无疑将为我们的生活带来诸多裨益。试想一下，一个能洞察你生活习惯的智能家居系统，能根据你的需求自动调节室内温度和光线，或是一个时刻关注你健康状况的 AI 助手，能为你提供量身定制的健康建议。AI 不仅能显著提升我们的生活质量，还能开辟新的就业领域，提升工作效率。然而，这一切均建立在 AI 安全的基础之上。正如自动驾驶技术一样，它能极大的提升生活便利性，但是一旦出错，后果可能不堪设想。随着 AI 应用日益智能化与自主化，如何确保 AI 的行为符合人类价值观，真正做到以人为本，成为了 AI 安全与对齐研究的核心议题。人类在成长过程中会不断学习进步，但也会遇到成长的烦恼。AI 同样如此，它可能会因为数据偏见而变得狭隘，也可能因为对抗性攻击而被恶意利用。悉心教育，也就是 AI 安全和对其研究，才能使 AI 成长过程更加顺利。让我们以健康领域的应用为例，很多疾病研究的数据往往以男性群体为主，这可能导致 AI 在处理女性的健康问题时风险评估不准确。此外数据本身也有可能存在偏见，比如有研究表明女性心脏病症状更容易被归结成焦虑等心理问题而造成诊断遗漏。因此，我们需要通过对 AI 安全和对其的研究来减少这种偏见。AI 学习的基础是数据，数据是它的实物，要想让 AI 变得聪明可靠，我们必须确保它营养均衡，也就是提供多样、全面、正确的数据，帮助它能够正确的理解这个复杂的世界并减少偏差。在使用人类标注的数据时，我们可以依赖于群体智慧，也就是 the wisdom of the crowd，即同一个数据点被多人标注多数票获胜，这种方法简单而有效。有意思的是，1907 年的一篇自然科学杂志中的文章，作者追踪了一场年度展览会上的一个有趣的竞有奖竞猜。展览会上人们选出一头肥牛，让大家来猜测牛的重量，最接近真实数据的人将获得大额的奖金。作者发现，最中间值往往是最接近真实的 the medium value，而这个数估计值也被称为 wax popular。它是拉丁语中 the voice of the people，也就是人民的声音的意思。在这篇将近 120 年前的科学文章中，作者总结道，我认为这个结果比人们预期的更能证明民主判断的可信度。这也是最早提到群体智慧如何发生作用的科学文献。而至于如何把高质量标注的数据喂给 AI，基于人类反馈的强化学习，也就是 RLHF 技术起到了关键作用。在了解 RLHF 之前，让我们快速了解一下什么是 RL reinforce learning。强化学习是一种机器学习方法，它主要通过奖惩机制来让模型学会完成任务，而不是依靠直接告诉模型如何去做这些任务。想象一下它就好像你要训练小狗，如果小狗做对了一个动作，比如坐下你就给它一块骨头饼干，做错了就不给奖励。这样小狗就会因为想吃到更多的饼干，而学会如何正确的坐下。同理，AI 也在这种奖惩机制中学习，通过不断的尝试并得到反馈，找到最佳的行动策略。一个早期的研究表明，强化学习能利用少量人类反馈，快速有效的教会智能体做复杂的动作，比如学会如何后空翻。同样的方法也可以用于训练大语言模型。当我们看到，针对同一问题的不同 AI 回答时，我们可以告诉模型，哪一个回答更好、更正确、更符合人类价值观。这样我们就像家长纠正孩子一样，能够调节 AI 的学习过程。此外，我们还可以使用模型本身作为输出 I 输出质量的评分者。比如在 entropic 发表的 constitutional AI 中，模型就通过对自己行为的自我评价进行改进。或者像 OpenAI 最近发表的对齐强化学习中，我们可以制定非常详细的行为规则来告诉 AI，比如如何何时拒绝用户的请求，如何表达同理心等等。然后我们在 RL 的奖励机制中，非常精准的来给予相应的评分和奖励。这个过程中，一个更加强大的 AI 有能力更精准的判断他是否有在遵循人类的价值观和行为准则。总之，强化学习技术就像一把钥匙，帮助我们打开 AI 高质量学习和发展的大门。在培养 AI 更懂我们的过程中，普通人也能发挥重要的作用。在文档写作，我们可以采用两个小技巧。首先设定详细的背景和角色，就像导演为演员准备剧本一样，让 AI 在丰富的情境中捕捉我们的意图。其次，精心挑选关键词，构建逻辑清晰的文档结构，使文档既美观又实用。在视频音乐制作领域，我们可以通过使用专业术语来引导 AI 比如黄金分割构图或和弦进行将创意转化为现实。同时别忘了感情的投入，因为这是赋予灵作品灵魂的关键。简而言之，通过细致的指导和情感的融入，我们可以帮助 AI 创作出既丰富又富有感染力的作品。在西游记中，孙悟空有紧箍咒约束行为，我们应该给 AI 模型也带上紧箍咒，也就是教会 AI 安全基本准则约束和道德标准，让其遵守行为规范。以人类利益为先，成为我们贴心的伙伴，而不是冰冷的机器。让 AI 学习基本原则和道德准则，可以使模型在面对复杂问题时运用推理得出正确的结论。比如在 OpenAI 最近发表的 o1-preview 模型中，我们通过思维链推理，加强了模型的鲁棒性，Robust 使得模型可以更好的抵抗越狱攻击。扩展性监督在 AI 对其研究中也非常重要。随着 AI 模型扩大，需要结合自动化工具和人类监督，有效的监督其行为，确保它朝着正确的方向发展。在一组研究中，我们用监督学习训练语言模型，对网络文本摘要进行批评。比如提高提供这个摘要非常准确，或者这个摘要遗漏了要点等等。评论相比对照组，我们发现有 AI 帮助的标注员比没有帮助的能多。找出摘要中约 50% 的问题，而且多数批评都参考了模型提供的内容。总之，给 AI 设定标准并进行有效监督，可以提升它对人们的帮助。其实，AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。以 B 站为例，这个充满活力的社区聚集了众多 AI 爱好者和创作者，我们在这里分享见解、讨论问题，甚至监督 AI 的表现，共同影响着 AI 的成长。我们每个人都应该成为 AI 的大家长，不仅监督和反馈 AI 的表现，还参与塑造一个安全可信的 AI 世界。AI 技术是一个双刃剑，它带来了便利与挑战并行，我们的参与至关重要。让我们携手培养出一个既聪明又负责的 AI 伙伴。感谢大家的聆听，希望今天的分享能激发大家对于安全的热情和兴趣。也感谢 B 站提供这个平台，让我们共同为 AI 的未来贡献力量。谢谢。（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:于学忠
TOP1热点：⚡特辣的海藻⚡（无限火力）
护肤升级催热美容仪市场，医美用户或成“后备军”。
TOP2热点：总统都想来自驾！这就是珠三角最美公路？
即使在大模型时代技术栈会发生变化，云服务依旧是计算的底层支撑，AWS需要更好地嵌入新的技术栈。而新繁荣的模型工具层，诸如DataBricks、BentoML等都会选择和云平台合作，分享收益。
TOP3热点：凌晨3点“热心邻居”闯入了你的家中，屏住呼吸！别被发现！真实案件改编！生物繁殖课老师拿自己当例子
在地产板块持续低迷、基金纷纷撤离的趋势下，仍然坚守其中的基金经理已寥寥无几。
北约想做裁判员，而早已经做了运动员——各式武器早已经提供给乌克兰。这种情况下，是难保他们的意见是公正的。
TOP4热点：国产单机骑士幻想动作游戏 |《湮灭之潮》首支预告片xaxwas_1_XXXXXL
经济基于内在的运行逻辑，在一段时间内会呈现周期性运动规律。根据周期的时间跨度可以分为短周期和长周期。短周期中最受经济分析人士关注的是3年左右的库存周期（基钦周期）和10年左右的设备更新周期（朱格拉周期），特别是前者与宏观政策和资本市场波动高度相关。而长周期则是对应20年左右的地产周期（库兹涅茨周期）、50-60年的技术进步周期（康波周期）、60年的人口周期，以及桥水资本达里奥提出的长达百年的国家长债务周期。这些长周期虽然至关重要，但因为变化缓慢，因此往往被定义为灰犀牛因素。
TOP5热点：捣烂100朵玫瑰花捏一串文玩手串！价值10000元！唐三插曲比比东不亦乐乎
北约想做裁判员，而早已经做了运动员——各式武器早已经提供给乌克兰。这种情况下，是难保他们的意见是公正的。
无论是期待拉平OpenAI的大模型能力，还是企业想拥有基于自己的数据精调大模型，开源，都被寄予厚望——这导致了HuggingFace的崛起。
TOP6热点：三肘击碎射手梦，我是雷霆你记住！一面亲一面膜下的免费
根据芝商所（CME）的数据，与美联储政策挂钩的期货合约的定价暗示，目前9月加息的可能性为12%，上周四为18%。
TOP7热点：他好像很感谢我的解答【奇言海论#6】八重神子被焯出白水了怎么办
数据来源：Wind、卓创资讯、方正中期研究院
TOP8热点：末日求生，一到八大合集。时长考虑，建议蹲坑观看！！！已满十八带好纸巾从此转人
坚持不懈打造全面从严治党的示范地。深入贯彻习近平总书记关于党的建设的重要思想，加快建设与全面从严治党体系相匹配、与中国特色现代企业制度相衔接、与改革发展中心任务相适应的国资央企党建工作新格局，健全完善国资央企全面从严治党体系，不断提升党的组织体系整体效能，切实增强企业各级党组织政治功能和组织功能，以高质量党建引领保障国资央企高质量发展。
“每日优鲜是做数据起家的，有数据分析师做业务支持。”曾供职于每日优鲜零售云部门的林沛告诉‘市界’，看起来，每日优鲜是想重新复刻当年的发展路径，先做数字化服务，再拓展出其他业务。
TOP9热点：西格玛男人拔萝卜打牌不盖被子可以吗图片
此外，原定于8月12日~13日在广州越秀国际会议中心召开的“2023华南腔内影像及功能学高峰论坛暨CCEC·花城影秀”也宣布延期举办，官方表示原因是“由于时间冲突”。
TOP10热点：《无敌的金丹期》第1-4合集！两个军人在车里㖭我H
海外需求整体的情况简而言之，在尚未减产的时段中没那么差，但在减产之后也并没有那么好，至少从近几周的表需数据来看，海外的需求数据表现得确实较为一般。美国汽油在出口已经维持偏高位置，而进料保持低位的情况下体现出的表需量近三周仅有990万桶/天，已经属较差的季节性需求水平了。而柴油需求则是仍然保持了今年持续的颓势，并未见到明显的增量出现。