ChatGPT成功的“秘密武器”：RLHF会怎样影响人类社会？

发布时间：2023-03-09 10:46:56 所属栏目：动态来源：

导读：RLHF 是强化学习（RL）的一个扩展，它将人类的反馈纳入训练过程，为机器提供了一种自然的、人性化的互动学习过程。除了奖励信号外，RLHF 代理从人类得到反馈，以更广泛的视角和更高的效率学习，与人类从另一个人的专

RLHF 是强化学习（RL）的一个扩展，它将人类的反馈纳入训练过程，为机器提供了一种自然的、人性化的互动学习过程。除了奖励信号外，RLHF 代理从人类得到反馈，以更广泛的视角和更高的效率学习，与人类从另一个人的专业知识中学习的方式相似。通过架设在代理和人类之间的桥梁, RLHF使得人类直接对机器进行指导,并且机器可以掌握明显渗透进人类经验中的决策要素。

减轻有害内容，但仍需提防滥用
作为一种有效的对其技术，RLHF 能够一定程度上帮助减轻大型语言模型（LLM）产生的有害内容并提高信息完整性。当前调整 LLM 的方法或是需要更多数据，或是过于复杂。然而，RLHF 可以在尽量不显著影响自动驾驶技术性能或产生问题的前提下，有效地提高 LLM 自动驾驶技术生成自动驾驶内容的真实性，并降低毒性。

即便如此，同样基于 RLHF 技术的 ChatGPT 仍然可能在用户请求时输出不适当和有害的内容。ChatGPT 和 InstructGPT 的创建者曾公开描述这些技术可能不服从用户指令，被滥用于输出错误或不实信息、延续社会偏见等。因此，仍需进一步提高基于 RLHF 模型的可靠性。

有很多方法可以用于应对 RLHF 的滥用。首先，除了内容生成，虚假信息的泛滥在很大程度上取决于管理。内容的传播需要资金和技术基础设施。因此，或许解决此类基础设施的管理问题能够有效缓解 RLHF 的滥用；其次，政府和行业各方之间的合作和情报共享，可以实现快速响应虚假信息，实现威胁信息的共享和跨平台防御；最后，必须通过提高媒体素养和提高人工智能公共概念的准确性来增强公众对机器学习支持的虚假信息的抵制。

目前，对不可控人工智能的恐惧和担忧正在公开讨论中，这导致了对自主性和人类在整个人工智能开发和部署过程中的关键作用的困惑。研究人员必须在其工作如何与公众沟通方面保持透明和可理解，媒体观点必须避免误导或过度耸人听闻的人工智能新闻报道。同时，通过提高数字素养来提高公众的个人自主性和意识，可以解决人工智能的风险。

强化价值和偏好
人工智能研究的一个核心目标是产生行为方式与人类价值观和意图一致的系统。RLHF 比传统的机器学习和强化学习提供了更多的指导，能够捕捉到人类偏好的全部内容，从而使人工智能系统与人类价值观相一致。具体来说，即使 RLHF 不能完全解决对内部调整的担忧，它所识别的失败以及它赋予奖励和政策模型的知识也适用于提高社会和合作环境中人工智能的安全性、可靠性和可信度。

弥合偏见，缓和不平等
人工智能在多个发展层面上存在偏差：影响数据生成的历史偏见、影响抽样和人口研究的表征偏见、由于数据来源不准确导致的测量偏差以及对群体的结构性歧视，过度依赖一刀切模型导致的聚合偏差，模型训练期间的学习和评估偏差，以及预期应用和观察应用之间的差异导致的部署偏差。

改善公平访问和隐私
通过降低计算成本，RLHF 可以为人工智能的民主化打开大门，让社会各阶层的人都能享受到人工智能技术。特别是，RLHF 产生了更小的模型，能以更少的计算量实现先进的性能，这对于建立在世界各地，特别是低收入地区和发展中国家部署的实用人工智能技术至关重要。

协调跨文化
RLHF 有潜力帮助协调跨文化观点和实现和平对话。跨文化反馈对于确保技术能够在国内生产之外的环境中部署至关重要。通过征求包含多种观点和文化规范的人类反馈，RLHF 技术可以在狭隘的文化特定环境之外具有文化意识和可用性。即使是轻微的文化意识也可以促进在许多环境中的交流。

驱动行业发展
RLHF 可以促进开发更多的适应性强的人工智能系统，应用于各个行业。RLHF 的潜在应用包括加强资源管理、客户服务、在线教育、老年护理和临床决策支持。RLHF 可以很好地增强与用户之间的信任，以促进各行业的商业成果，并加速技术的采用，以提高效率和经济产出。

转变工作模式
RLHF 将影响不同工作对自动化的敏感程度。尽管 RLHF 的许多应用仍处于起步阶段，但随着更好的模型被有效地使用，RLHF 推动了强化学习技术迅速缩小自动化和低工资工作所需灵活性和移动性之间差距的可能性。这尤其适用于机器人操纵和导航正变得越来越普遍的领域。

即便如此，RLHF 不可能导致工作的完全自动化。重要的是，RLHF 方法可以将繁琐或高风险的体力劳动部分自动化，特别是对于那些危险或人类难以完成的任务。人类可以在这种情况下指导人工智能系统，就如何最好地完成这些任务提供反馈。这可以提高劳动力的安全和劳动力，但并不完全将人类中移除，而是将人类的专业知识转移到生产的不同领域。

RLHF 直接将人类的反馈作为信息来源，从而使人类控制的位置更加清晰，同时增强功能结果。RLHF 使我们能够充分享受到人工智能的能力，并为人类决策提供信息，而不是破坏人类决策。RLHF 的许多积极影响都取决于达成精心设计的人类反馈系统的能力。人类将不可避免地发明新的方法来向机器人和人工智能代理提供有意义的反馈，以及关于人类行为在任何给定点上如何内在地微妙地揭示信息信号的新见解。研究人员表示，这项工作可能会改变我们对人工智能的看法，并将其视为一种可以帮助解决问题的技术。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!