在一项可能类似的研究中，人工智能(AI)公司Anthropic开发了一个大规模语言模型(LLM)，该模型针对用户群体的价值判断进行了微调。
许多面向公共的LLM是用guardrails开发的——指定特定行为的编码指令——试图限制不想要的输出。比如Anthropic的Claude和OpenAI的ChatGPT，通常会为用户提供预设的安全响应，输出与暴力或争议话题相关的请求。
然而，许多专家认为可以使用护栏和其他干预技术来消除用户的* *，因为被认为可以接受的东西并不总是有用的，被认为有用的东西也不总是可以接受的。同时，道德或基于价值的判断的定义可能因文化、人和时期的不同而不同。
对此可能的补救措施是允许用户决定人工智能模型的值调整。Anthropic的集体构成人工智能实验就是对这种混沌挑战的一种尝试。Anthropic与Polis和Collective Intelligence Project合作，挖掘了来自不同群体的1000名用户，并通过民意调查要求他们回答一系列问题。
挑战的核心是使组织的用户能够确定什么是合适的，而不会让他们接触到不合适的输出。这包括征求用户价值，然后将这些想法实现到训练好的模型中。
Anthropic使用一种叫做宪法人工智能的方法来调整法律硕士的安全性和实用性。本质上，这涉及到给一个模型提供一系列它必须遵守的规则，然后训练它在整个过程中执行这些规则，就像宪法是很多国家治理的核心文件一样。
在集体体质的人工智能实验中，Anthropic试图将基于群体的反馈整合到模型体质中。Anthropic的一篇博客文章称，这一结果似乎是科学上的成功，因为它说明了要实现让LLM产品的用户决定他们的集体价值的目标所面临的进一步挑战。
团队必须克服的困难之一是为基准测试过程提出一种新颖的方法。因为这个实验似乎是同类实验中的第一个，并且它依赖于Anthropic的宪法人工智能方法，所以没有建立测试来比较基本模型和众包价值调整模型。
最终，似乎实现用户投票反馈数据的模型在有偏输出方面略优于基本模型。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。
原文地址"Anthropic通过让用户为其价值观投票来构建民主的人工智能聊天机器人"：http://www.ljycsb.cn/qukuailian/207293.html。
微信扫描二维码投放广告
▲长按图片识别二维码
