AI 怎样变得愈加安全？制服丝袜电影

钛媒体App 11月3日音书，华东谈主后生科学家、OpenAI经营副总裁（安全）翁荔（Lilian Weng）近期在2024Bilibili超等科学晚上发表主题为《AI 安全与“培养”之谈》的演讲。这是其初度在国内发表对于 AI 本事的演讲。

翁荔暗意，ChatGPT横空出世以来，AI本事如同搭乘了高速列车，连忙渗入并影响着东谈主类。AI每天都在变化，需要咱们全心相通、老师，确保是更好的服务于东谈主类，同期确保安全。而一个既安全又智能的AI，无异于将为咱们的糊口带来诸多裨益。

具体来说，跟着AI的智能化和自主化，确保其步履稳妥东谈主类价值不雅变得繁难，AI可能因偏见而变得褊狭，或因对抗性报复而受到质疑。因此，需要全心相通AI，确保其服务于东谈主类并确保安全，而AI安全是齐备其潜在益处的基础，近似于自动驾驶本事。

从数据层面，提供各种、全面、正确的数据，不错减少AI的偏见，而依赖于多东谈主标注的数据，以提高AI的准确性；同期，基于强化学习（RL）和基于东谈主类反映的强化学习（RLHF），通过赏罚机制测验AI，近似于测验小狗；此外，使用模子自我评价和注认识步履规则来培植AI的输出质地。比如，在文档写稿和视频音乐制作中，粗俗东谈主不错通过设定布景、变装想想和关节词来相通AI。

翁荔毕业于北京大学信息贬责系，如今该系名为北京大学数字东谈主文实验室，她是2005 级本科生，是“兜乐”项盘算主干设计东谈主员，毕业后赴好意思攻读博士学位，曾赴任于Facebook，如今是OpenAI华东谈主科学家、ChatGPT的孝顺者之一。

翁荔在2018年加入OpenAI，自后在GPT-4技俩中主要参与预测验、强化学习&对皆、模子安全等方面的职责。她曾建议最知名的Agent公式——Agent=大模子+操心+主动贪图+器用使用。

翁荔在演讲中暗意，东谈主类需要教诲AI安全基本原则息兵德准则，使其成为东谈主类的伙伴。同期，通过想维链（CoT）推理和扩张性经营来培植AI的可靠性和监督。

翁荔强调，AI安全需要每个东谈主的参与，社区不错共同影响AI的成长。

“AI的安全不单是是经营者的包袱，它需要每一个东谈主的参与。AI 本事是一把双刃剑，它带来的便利和挑战并行，咱们的参与至关繁难。”翁荔称。

以下是翁荔演讲现实，经钛媒体AGI剪辑整理：

环球好，我是翁荔。今天我想与环球有计划一个既久了又真谛真谛的话题，AI安全，以及咱们怎样像培养下一代一样，培育出既明智又安全的东谈主工智能。

继ChatGPT横空出世以来，AI本事如同搭乘了高速列车，连忙渗入并影响着咱们的时时。

AI每天都在进化，需要咱们全心相通与老师，以确保其更好地服务于东谈主类，同期确保安全无虞。一个既安全又智能的AI无疑将为咱们的糊口带来诸多裨益。

试想一下，一个能瞻念察你糊口习气的智能家居系统，能字据你的需求自动治愈室内温度和后光，或是一个时间关注你健康景象的AI助手，能为你提供量身定制的健康建议。

AI不仅能权臣培植咱们的糊口质地，哥也色还能开荒新的奇迹鸿沟，培植工犯罪果。

有关词，这一切均建树在AI安全的基础之上。正如自动驾驶本事一样，它能极大的培植糊口便利性，然则一朝出错，后果可能不胜设计。

跟着AI应用日益智能化与自主化，怎样确保AI的步履稳妥东谈主类价值不雅，信得过作念到以东谈主为本，成为了AI安全与对皆经营的中枢议题。东谈主类在成长经过中会握住学习逾越，但也会遭遇成长的打扰。AI同样如斯，它可能会因为数据偏见而变得褊狭，也可能因为对抗性报复而被坏心利用。

经心老师，也等于AI安全和对其经营，才能使AI成长经过愈加顺利。

让咱们以健康鸿沟的应用为例，好多疾病经营的数据常常以男性群体为主，这可能导致AI在处理女性的健康问题时风险评估不准确。此外数据自身也有可能存在偏见，比如有经营标明女性腹黑病症状更容易被归结成慌乱等表情问题而形成会诊遗漏。因此，咱们需要通过对AI安全和对其的经营来减少这种偏见。

AI学习的基础是数据，数据是它的什物，要想让AI变得明智可靠，咱们必须确保它养分平衡，也等于提供各种、全面、正确的数据，匡助它粗略正确的领路这个复杂的寰宇并减少偏差。

在使用东谈主类标注的数据时，咱们不错依赖于群体贤达，也等于the wisdom of the crowd，即并吞个数据点被多东谈主标注大都票见效，这种步履陋劣而灵验。有真谛的是，1907年的一篇当然科学杂志中的著述，作家跟踪了一场年度博览会上的一个真谛真谛的竞有奖竞猜。博览会上东谈主们选出一头肥牛，让环球来料想牛的分量，最接近真实数据的东谈主将赢得大额的奖金。

作家发现，最中间值常常是最接近真实的the medium value，而这个数推断值也被称为wax popular。它是拉丁语中the voice of the people，也等于东谈主民的声息的真谛。在这篇快要120年前的科学著述中，作家回来谈，我觉得这个戒指比东谈主们预期的更能诠释民主判断的着实度。这亦然最早提到群体贤达怎样发生作用的科学文件。

而至于怎样把高质地标注的数据喂给AI，基于东谈主类反映的强化学习，也等于RLHF本事起到了关节作用。

在了解RLHF之前，让咱们快速了解一下什么是RL reinforce learning。强化学习是一种机器学习步履，它主要通过赏罚机制来让模子学会完成任务，而不是依靠平直告诉模子怎样去作念这些任务。设想一下它就好像你要测验小狗，要是小狗作念对了一个动作，比如坐下你就给它一块骨头饼干，作念错了就不给奖励。这么小狗就会因为想吃到更多的饼干，而学会怎样正确的坐下。

同理，AI也在这种赏罚机制中学习，通过握住的尝试并得到反映，找到最好的举止战术。一个早期的经营标明，强化学习能利用小数东谈主类反映，快速灵验的教诲智能体作念复杂的动作，比如学会怎样后空翻。

同样的步履也不错用于测验大言语模子。当咱们看到，针对并吞问题的不同AI回复时，咱们不错告诉模子，哪一个回复更好、更正确、更稳妥东谈主类价值不雅。这么咱们就像家长改革孩子一样，粗略治愈AI的学习经过。

此外，咱们还不错使用模子自身四肢输出I输出质地的评分者。比如在entropic发表的constitutional AI中，模子就通过对我方步履的自我评价进行改换。或者像OpenAI最近发表的对皆强化学习中，咱们不错制定相等注认识步履规则来告诉AI，比如怎样何时拒却用户的央求，怎样抒发同理心等等。然后咱们在RL的奖励机制中，相等精确的来给以相应的评分和奖励。这个经过中，一个愈加重大的AI有才调更精确的判断他是否有在恪守东谈主类的价值不雅和步履准则。

总之，强化学习本事就像一把钥匙，匡助咱们开放AI高质地学习和发展的大门。在培养AI更懂咱们的经过中，粗俗东谈主也能阐扬繁难的作用。

在文档写稿，咱们不错接收两个小手段。当先设定注认识布景和变装，就像导演为演员准备脚本一样，让AI在丰富的情境中捕捉咱们的意图。其次，精心挑选关节词，构建逻辑明晰的文档结构，使文档既好意思不雅又实用。

在视频音乐制作鸿沟，咱们不错通过使用专科术语来相通AI比如黄金分割构图或和弦进即将创意滚动为现实。同期别忘了情谊的参预，因为这是赋予灵作品灵魂的关节。

简而言之，通过致密的率领和情愫的融入，咱们不错匡助AI创作出既丰富又富余感染力的作品。

在西纪行中，孙悟空有紧箍咒拘谨步履，咱们应该给AI模子也带上紧箍咒，也等于教诲AI安全基本准则拘谨息兵德程序，让其驯顺步履范例。以东谈主类利益为先，成为咱们贴心的伙伴，而不是冰冷的机器。

让AI学习基本原则息兵德准则，不错使模子在濒临复杂问题时欺诈推理得出正确的论断。

比如在OpenAI最近发表的o1-preview模子中，咱们通过想维链推理，加强了模子的鲁棒性，Robust使得模子不错更好的招架逃狱报复。

扩张性监督在AI对其经营中也相等繁难。跟着AI模子扩大，需要衔尾自动化器用和东谈主类监督，灵验的监督其步履，确保它朝着正确的标的发展。在一组经营中，咱们用监督学习测验言语模子，对收集文本节录进行品评。比如提高提供这个节录相等准确，或者这个节录遗漏了重心等等。指摘比拟对照组，咱们发现存AI匡助的标注员比莫得匡助的能多。找出节录中约50%的问题，况兼大都品评都参考了模子提供的现实。总之，给AI设定程序并进行灵验监督，不错培植它对东谈主们的匡助。

其实，AI的安全不单是是经营者的包袱，它需要每一个东谈主的参与。

以B站为例，这个充满活力的社区集会了繁密AI喜欢者和创作家，咱们在这里共享视力、询查问题，以致监督AI的阐扬，共同影响着AI的成长。

咱们每个东谈主都应该成为AI的环球长，不仅监督和反映AI的阐扬，还参与塑造一个安全着实的AI 寰宇。

AI本事是一个双刃剑，它带来了便利与挑战并行，咱们的参与至关繁难。让咱们联袂培养出一个既明智又认真是AI伙伴。感谢环球的凝听，但愿今天的共享能激励环球对于安全的柔顺和瞻仰。也感谢B站提供这个平台，让咱们共同为AI的当年孝顺力量。

谢谢。

（本文首发于钛媒体App，作家｜林志佳，剪辑｜胡润峰）