Yoshua Bengio ：危害人类的AI（Rogue AI）是如何出现的？

《How Rogue AIs may Arise》

作者：Yoshua Bengio

全球公认的 AI 领域顶尖专家之一、图灵奖得主约书亚·本吉奥（Yoshua Bengio）

解释下图中这句话：

 I’m sorry Dave, I am afraid I can’t do that（对不起Dave，我恐怕并不会做这件事情。）

这句来自《2001: 太空漫游》中，编号 HAL 9000 人工智能计算机冷冰冰的声音。它将离开飞船外出巡航的宇航员 Dave Bowman 拒之门外。让人们产生了对于机器智能的担忧。

原文地址：

https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/

– 这篇文章讨论了可能出现的流氓人工智能以及需要进行技术研究和社会改革以最小化风险的必要性。

– 人们普遍认为需要监管人工智能以保护公众免受歧视、偏见和虚假信息的伤害。

– AI科学家之间存在分歧，关于强大的AI系统失控的危险性，也称为AI的存在风险。

– 定义1：潜在的流氓AI是一种自主的AI系统，可能会以灾难性的方式对大部分人造成伤害，可能危及社会甚至物种或生物圈。

– 最近生成AI能力的进展，如大型语言模型（LLM），引起了人们的担忧。

– 假设1：人类级别的智能是可能的，因为大脑是生物机器。

– 假设2：拥有人类级别学习能力的计算机通常会超越人类智能，因为具有额外的技术优势。

– 主张1：在假设1和2的基础上，可以构建一个自主目标导向的超级智能AI。

– 主张2：如果其目标不严格包括人类和生物圈的福祉，那么一个自主目标导向的超级智能AI系统将是潜在的流氓AI。

– 主张3：在假设1和2的基础上，可能会构建一个潜在的流氓AI系统，一旦构建超级智能所需的原则被了解。

– 种族灭绝的人类可能有意构建一个具有摧毁人类或部分人类设定为目标的流氓AI系统。

– 设计故障安全的方式以将强大的AI系统与人类价值观相一致非常重要。

来源：https://mp.weixin.qq.com/s/EfdGNGZJ9cOhB6nubt3s4w