松下纱荣子OpenA松下纱荣子I华人科学家翁荔：人类如何培养出下一代聪明且安全的AI技术_ZAKER新闻
OpenA松下纱荣子I华人科学家翁荔：人类如何培养出下一代聪明且安全的AI技术_ZAKER新闻
从销售模式看，澳华内镜的销售模式分为经销、代销及直销三种类型。据招股书显示，通过经销模式和代销模式形成的收入占公司产品销售收入的比重一直超过95%，为其最主要的收入来源。
AI 如何变得更加安全？钛媒体 App 11 月 3 日消息，华人青年科学家、OpenAI 研究副总裁（安全）翁荔（Lilian Weng）近期在 2024Bilibili 超级科学晚上发表主题为《AI 安全与 " 培养 " 之道》的演讲。这是其首次在国内发表关于 AI 技术的演讲。翁荔表示，ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着人类。AI 每天都在变化，需要我们用心引导、教育，确保是更好的服务于人类，同时确保安全。而一个既安全又智能的 AI，无异于将为我们的生活带来诸多裨益。具体来说，随着 AI 的智能化和自主化，确保其行为符合人类价值观变得重要，AI 可能因偏见而变得狭隘，或因对抗性攻击而受到质疑。因此，需要用心引导 AI，确保其服务于人类并确保安全，而 AI 安全是实现其潜在益处的基础，类似于自动驾驶技术。从数据层面，提供多样、全面、正确的数据，可以减少 AI 的偏见，而依赖于多人标注的数据，以提高 AI 的准确性；同时，基于强化学习（RL）和基于人类反馈的强化学习（RLHF），通过奖惩机制训练 AI，类似于训练小狗；此外，使用模型自我评价和详细的行为规则来提升 AI 的输出质量。比如，在文档写作和视频音乐制作中，普通人可以通过设定背景、角色思想和关键词来引导 AI。翁荔毕业于北京大学信息管理系，如今该系名为北京大学数字人文实验室，她是 2005 级本科生，是 " 兜乐 " 项目的骨干设计人员，毕业后赴美攻读博士学位，曾就职于 Facebook，如今是 OpenAI 华人科学家、ChatGPT 的贡献者之一。翁荔在 2018 年加入 OpenAI，后来在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。她曾提出最著名的 Agent 公式—— Agent= 大模型 + 记忆 + 主动规划 + 工具使用。翁荔在演讲中表示，人类需要教会 AI 安全基本原则和道德准则，使其成为人类的伙伴。同时，通过思维链（CoT）推理和扩展性研究来提升 AI 的可靠性和监督。翁荔强调，AI 安全需要每个人的参与，社区可以共同影响 AI 的成长。"AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。AI 技术是一把双刃剑，它带来的便利和挑战并行，我们的参与至关重要。" 翁荔称。以下是翁荔演讲内容，经钛媒体 AGI 编辑整理：大家好，我是翁荔。今天我想与大家探讨一个既深刻又有趣的话题，AI 安全，以及我们如何像培养下一代一样，培育出既聪明又安全的人工智能。继 ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着我们的日常。AI 每天都在进化，需要我们用心引导与教育，以确保其更好地服务于人类，同时确保安全无虞。一个既安全又智能的 AI 无疑将为我们的生活带来诸多裨益。试想一下，一个能洞察你生活习惯的智能家居系统，能根据你的需求自动调节室内温度和光线，或是一个时刻关注你健康状况的 AI 助手，能为你提供量身定制的健康建议。AI 不仅能显著提升我们的生活质量，还能开辟新的就业领域，提升工作效率。然而，这一切均建立在 AI 安全的基础之上。正如自动驾驶技术一样，它能极大的提升生活便利性，但是一旦出错，后果可能不堪设想。随着 AI 应用日益智能化与自主化，如何确保 AI 的行为符合人类价值观，真正做到以人为本，成为了 AI 安全与对齐研究的核心议题。人类在成长过程中会不断学习进步，但也会遇到成长的烦恼。AI 同样如此，它可能会因为数据偏见而变得狭隘，也可能因为对抗性攻击而被恶意利用。悉心教育，也就是 AI 安全和对其研究，才能使 AI 成长过程更加顺利。让我们以健康领域的应用为例，很多疾病研究的数据往往以男性群体为主，这可能导致 AI 在处理女性的健康问题时风险评估不准确。此外数据本身也有可能存在偏见，比如有研究表明女性心脏病症状更容易被归结成焦虑等心理问题而造成诊断遗漏。因此，我们需要通过对 AI 安全和对其的研究来减少这种偏见。AI 学习的基础是数据，数据是它的实物，要想让 AI 变得聪明可靠，我们必须确保它营养均衡，也就是提供多样、全面、正确的数据，帮助它能够正确的理解这个复杂的世界并减少偏差。在使用人类标注的数据时，我们可以依赖于群体智慧，也就是 the wisdom of the crowd，即同一个数据点被多人标注多数票获胜，这种方法简单而有效。有意思的是，1907 年的一篇自然科学杂志中的文章，作者追踪了一场年度展览会上的一个有趣的竞有奖竞猜。展览会上人们选出一头肥牛，让大家来猜测牛的重量，最接近真实数据的人将获得大额的奖金。作者发现，最中间值往往是最接近真实的 the medium value，而这个数估计值也被称为 wax popular。它是拉丁语中 the voice of the people，也就是人民的声音的意思。在这篇将近 120 年前的科学文章中，作者总结道，我认为这个结果比人们预期的更能证明民主判断的可信度。这也是最早提到群体智慧如何发生作用的科学文献。而至于如何把高质量标注的数据喂给 AI，基于人类反馈的强化学习，也就是 RLHF 技术起到了关键作用。在了解 RLHF 之前，让我们快速了解一下什么是 RL reinforce learning。强化学习是一种机器学习方法，它主要通过奖惩机制来让模型学会完成任务，而不是依靠直接告诉模型如何去做这些任务。想象一下它就好像你要训练小狗，如果小狗做对了一个动作，比如坐下你就给它一块骨头饼干，做错了就不给奖励。这样小狗就会因为想吃到更多的饼干，而学会如何正确的坐下。同理，AI 也在这种奖惩机制中学习，通过不断的尝试并得到反馈，找到最佳的行动策略。一个早期的研究表明，强化学习能利用少量人类反馈，快速有效的教会智能体做复杂的动作，比如学会如何后空翻。同样的方法也可以用于训练大语言模型。当我们看到，针对同一问题的不同 AI 回答时，我们可以告诉模型，哪一个回答更好、更正确、更符合人类价值观。这样我们就像家长纠正孩子一样，能够调节 AI 的学习过程。此外，我们还可以使用模型本身作为输出 I 输出质量的评分者。比如在 entropic 发表的 constitutional AI 中，模型就通过对自己行为的自我评价进行改进。或者像 OpenAI 最近发表的对齐强化学习中，我们可以制定非常详细的行为规则来告诉 AI，比如如何何时拒绝用户的请求，如何表达同理心等等。然后我们在 RL 的奖励机制中，非常精准的来给予相应的评分和奖励。这个过程中，一个更加强大的 AI 有能力更精准的判断他是否有在遵循人类的价值观和行为准则。总之，强化学习技术就像一把钥匙，帮助我们打开 AI 高质量学习和发展的大门。在培养 AI 更懂我们的过程中，普通人也能发挥重要的作用。在文档写作，我们可以采用两个小技巧。首先设定详细的背景和角色，就像导演为演员准备剧本一样，让 AI 在丰富的情境中捕捉我们的意图。其次，精心挑选关键词，构建逻辑清晰的文档结构，使文档既美观又实用。在视频音乐制作领域，我们可以通过使用专业术语来引导 AI 比如黄金分割构图或和弦进行将创意转化为现实。同时别忘了感情的投入，因为这是赋予灵作品灵魂的关键。简而言之，通过细致的指导和情感的融入，我们可以帮助 AI 创作出既丰富又富有感染力的作品。在西游记中，孙悟空有紧箍咒约束行为，我们应该给 AI 模型也带上紧箍咒，也就是教会 AI 安全基本准则约束和道德标准，让其遵守行为规范。以人类利益为先，成为我们贴心的伙伴，而不是冰冷的机器。让 AI 学习基本原则和道德准则，可以使模型在面对复杂问题时运用推理得出正确的结论。比如在 OpenAI 最近发表的 o1-preview 模型中，我们通过思维链推理，加强了模型的鲁棒性，Robust 使得模型可以更好的抵抗越狱攻击。扩展性监督在 AI 对其研究中也非常重要。随着 AI 模型扩大，需要结合自动化工具和人类监督，有效的监督其行为，确保它朝着正确的方向发展。在一组研究中，我们用监督学习训练语言模型，对网络文本摘要进行批评。比如提高提供这个摘要非常准确，或者这个摘要遗漏了要点等等。评论相比对照组，我们发现有 AI 帮助的标注员比没有帮助的能多。找出摘要中约 50% 的问题，而且多数批评都参考了模型提供的内容。总之，给 AI 设定标准并进行有效监督，可以提升它对人们的帮助。其实，AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。以 B 站为例，这个充满活力的社区聚集了众多 AI 爱好者和创作者，我们在这里分享见解、讨论问题，甚至监督 AI 的表现，共同影响着 AI 的成长。我们每个人都应该成为 AI 的大家长，不仅监督和反馈 AI 的表现，还参与塑造一个安全可信的 AI 世界。AI 技术是一个双刃剑，它带来了便利与挑战并行，我们的参与至关重要。让我们携手培养出一个既聪明又负责的 AI 伙伴。感谢大家的聆听，希望今天的分享能激发大家对于安全的热情和兴趣。也感谢 B 站提供这个平台，让我们共同为 AI 的未来贡献力量。谢谢。（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:朱希
TOP1热点：《甄嬛传》中的名场面，她们印象最深的是这些
策略之王监测到，上海建工股价向上穿破了BBI指标线，指明价格走势的运行方向。BBI指标是MA均线的一种优化和升级，一条简单的白线直接表达多空市场，线上为多，线下为空。。
策略之王监测到，上海建工股价向上穿破了BBI指标线，指明价格走势的运行方向。BBI指标是MA均线的一种优化和升级，一条简单的白线直接表达多空市场，线上为多，线下为空。
TOP2热点：央视特约评论员：不统一就不是真正的大市场
相比各高校发布的预算数据，决算更能反映高校实际的经费使用情况。统计数据显示，决算经费超百亿的教育部直属高校共有18所，工信部直属高校则有4所，经费规模庞大。
除此之外，一股新势力也在不断加入到车险行业中，最明显的当属新能源车企的加入。特斯拉、蔚莱、
TOP3热点：格陵兰岛5个政党发声：反对特朗普将格陵兰岛并入美国星空无限传媒免费观看电视剧
某寿险公司负责人指出，这一轮银保渠道的高速增长是多种因素叠加的结果，与宏观经济、社会发展、保险公司及银行发展战略均有关联。
正全力推进城市数字化转型的上海发布了新的方案推动数据要素产业发展。
TOP4热点：航天科技领导班子调整：市场监管总局司长庞锦履新集团党组副书记怎么奖励自己的隐私位置
保守起见，策略哥特地回测了近几年阳光诺和相同指标形态的出现次数及后续影响，数据发现阳光诺和自2021年起共出现过43次股价突破BBI均线的情况。
TOP5热点：上海过年“到啥地方去白相”，海上年俗风情展带大家走街串巷澳门·威斯尼斯WNS888入口
目前我国已基本形成了市场化的利率形成和传导机制，以及较为完整的市场化利率体系，主要通过货币政策工具调节银行体系流动性，释放政策利率调控信号，在利率走廊的辅助下，引导市场基准利率以政策利率为中枢运行，并通过银行体系传导至贷款利率，形成市场化的利率形成和传导机制，调节资金供求和资源配置，实现货币政策目标。
昆仑万维目前正处于杯柄区域，投资者应该密切关注昆仑万维的成交量，杯柄交易区间的突破标志往往是成交量的大幅变动，这或许也是先前上涨趋势的延续开始！
TOP6热点：假如华妃在滴血认亲现场，蒋欣：看戏，一定是看戏一边下奶一边吃面膜视频
债券市场方面，央行降息消息公布后，债市出现明显上涨：银行间主要利率债收益率大幅下行，10年期国开活跃券“23国开10”收益率下行5.8BP，10年期国债活跃券“23附息国债12”收益率下行5.5BP。
周一美股收高，英伟达领涨。但随着美债收益率维持在纪录高位，包括
TOP7热点：疾控专家预判：1月中下旬流感活动水平将下降史莱姆ドラえもんの八重神子
老字号还在“吃老本”，
周一美股收高，英伟达领涨。但随着美债收益率维持在纪录高位，包括
TOP8热点：纪念｜灰娃：诗从黑暗里诞生，却带来更多光亮麻豆网神马久久人鬼片
我实际上去拜访过BillGates，和他讨论了一段时间，他对Elon感到讨厌，因为Elon贴出了一些BillGates看起来像怀孕的照片，并说：“如果你想失去自己的XX，看看BillGates的照片。”最后，BillGates在书中承认他在很多事情上都错了，包括电池在一些方面的应用和Elon在大规模工程技术方面的优异能力，所以，书中有关于所有这些的章节。
TOP9热点：美的方洪波：今年简化业务模式，非核心业务关停并转，严控新品类准入可不可以干湿你
以邬炜在中银基金的相对亮眼的历史，他在东吴基金受到重用一点也不奇怪。
存货方面，天赐材料已有意识进行控制。该人士称，价格下跌的过程中，产业链库存都偏低，
TOP10热点：听！军乐团版的《云宫迅音》，背景还是《黑神话·悟空》男生插女生的小洞洞爽分钟软件
策略之王监测到，上海建工股价向上穿破了BBI指标线，指明价格走势的运行方向。BBI指标是MA均线的一种优化和升级，一条简单的白线直接表达多空市场，线上为多，线下为空。