雷锋网 (大众号：雷锋网) 按： 据 BBC 报道 ，麻省理工学院媒介实验室的研讨人员做了一个意味深长的实验，他们用网络上那些黑暗残暴的图片训练一个 AI 机器人，后果这个被称为“Norman ”的 AI 居然变成了一个变态的“肉体病人”，看到的都是世界的阴暗面。Norman 观看的图像被称为罗夏墨迹斑点，通常由心思学家用来确定某人能否以积极的方式对待世界。这样的实验将有助于剖析人们在网络的黑暗角落里的图像。近朱者赤，近墨者黑。人类世界的规则在 AI 世界也异样适用。雷锋网将全文编译如下。

遇见 Norman

Norman 这个名字来源于希区柯克的著名电影《惊魂记》中的角色 Norman Bates

Norman 是一种训练有素的了解图像的算法，但就像希区柯克电影里的 Norman Bates 一样，它对世界的看法并不悲观。

当人工智能生成的“正常”算法被问及它看到的笼统图形是什么时，它会选择一些令人快乐的东西:“一群鸟坐在树枝上”，而诺曼看见的是一团体被电死了。“正常”AI 看到两团体并列站在一同，而 Norman 看到的是一个男人从窗户跳下去。

这个肉体病态算法是由麻省理工学院的一个研讨小组创造的，作为实验的一局部，目的是为了看看训练人工智能处置来自“网络黑暗角落”的数据会对其世界观发生什么影响。

该软件的训练素材是人们在可怕环境中死亡的图片，这些图片来自 Reddit 网站上的一个小组。然后，可以辨认图片和读懂文本的 AI，会展现墨迹图并被讯问它在其中看到了什么。这些笼统的图像通常被心思学家用来协助评价病人的心思形态，尤其是他们是用消极的还是积极的目光对待世界。

Norman 的视角永远冷漠无情——它在每一幅图像中都看到了尸体、鲜血和消灭。与 Norman 一同，另一个 AI 被正常的猫、鸟和人的图像喂养训练。在这些笼统的墨迹点中，它看到了十分令人愉快的图像。

来自 MIT 媒体实验室三人团队的 Iyad Rahwan 教授表示，Norman 的黑暗反响证明了机器学习新世界的严酷理想。

数据比算法更重要。它强化了这样一个观念，即我们用来训练 AI 的数据由 AI 感知世界的方式和它的行为方式所决议。

它可以消费新闻，在视频游戏中发明新记载，充任客服，剖析财务和医疗报告，并提供数据中心如何浪费动力的见地。

但假如 Norman 的实验证明了什么，那就是被不良数据训练的 AI 会变坏。

AI 也有种族歧视

Norman 对死亡和消灭存有成见，由于这是他所晓得的全部，而在理想生活中，人工智能假如被缺陷数据训练，也会有异样的成见。

去年5月，一份报告称，美国法院用于风险评价的基于 AI 的电脑顺序对黑人囚犯有成见。该项目指出，黑人反复立功的概率是白人的两倍，这是由于训练 AI 的数据有缺陷。

在美国运用的预测警务算法也被发现有相似的成见，也是由于训练他们的历史立功数据有成绩。

有时分，人工智能“学习”的数据来自人类对恶作剧的热衷，因而，当微软的 chatbat Tay 于2016年在 Twitter上发布时，这款机器人很快就遭到了种族主义者和捣乱者的欢送，这些人教它维护白人至上主义者，呼吁种族灭绝，并表达对希特勒的喜欢。

Norman 似乎并不是独一容易遭到暗示的 AI。人工智能并没有中止种族歧视。

一项研讨标明，承受过谷歌新闻培训的软件由于正在学习的数据而变得性别歧视。当被问到“男人对计算机顺序员就像女人对X”，软件答复说“家庭主妇”。

巴斯大学计算机迷信系的 Joanna Bryson 博士说，性别歧视 AI 能够是由于很多机器都是由“来自加州的白人独身男性”编程的，经过使编程人员背景多样化，至多可以局部地处理这个成绩。

机器承受培训人员意见的影响并不奇异。“当我们经过选择我们的文明来训练机器时，我们必定会把本人的成见加诸于它。”她说。

数学算法无法发明公道。在机器学习中，成见并不是一个坏字眼，它只是意味着机器正在承受规训。她担忧的是，一些顺序员会成心选择把坏的东西或成见硬塞进机器。她以为，要阻止这种状况发作，AI的发明进程需求更多的监视和更大的通明度。

Rahwan 教授表示，他用 Norman 做的实验证明，“工程师必需找到一种办法来均衡数据，”但他供认，“不时扩张并无比重要的机器学习范畴不能只让顺序员来操控。越来越多的人置信，机器行为可以成为研讨人类行为的办法”，他说。

他表示，新一代的“AI 心思学”会采取对正在开发的零碎停止活期审核的方式停止，而不是像银行界旧有的零碎那样。

*雷锋网整理。

雷锋网版权文章，未经受权制止转载。概况见。