农企新闻网

抓住机器辨认的缺陷,能让AI变懵懂的“新病毒”

发布者:李阳
导读在AI技术构建出的将来世界蓝图中,有少量安装是经过机器视觉这一最根底的技术完成的。GPU的普遍使用给了机器疾速处置图片的才能,神经网络让机器可以了解图片。正因如此,我们才干够经过摄像头分辨眼前这张脸是不是iPhone X的主人、从监控录像中找到立功分子的身影,以及自动分辨社交网站上的某张照片能否涉嫌有色情内容。不过机器视觉和人类视觉有着很大的差别,比方说在呈现误差方面,机器和人类就有很多不同。比方

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

在AI技术构建出的将来世界蓝图中,有少量安装是经过机器视觉这一最根底的技术完成的。GPU的普遍使用给了机器疾速处置图片的才能,神经网络让机器可以了解图片。

正因如此,我们才干够经过摄像头分辨眼前这张脸是不是iPhone X的主人、从监控录像中找到立功分子的身影,以及自动分辨社交网站上的某张照片能否涉嫌有色情内容。

不过机器视觉和人类视觉有着很大的差别,比方说在呈现误差方面,机器和人类就有很多不同。比方人类视觉往往会由于线条的陈列散布而分不清终究是直线还是曲线。

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

(著名的黑林错觉)

但机器视觉的错觉,往往要比人类的风趣得多。

如何诈骗愚笨的机器视觉?

大家一定听说过一个“诈骗”深度学习神经网络的例子,只需改动几个像素,就能失掉差别宏大的后果。

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

就像这张照片,前一秒神经网络还有57.7%的掌握以为它是一只熊猫,可在阅历过一点点处置后,神经网络居然99.3%的掌握以为这是一只长臂猿。可对人类来说,这两张照片简直没有区别。

呈现这种状况的缘由是,人类和机器有关“视觉”的概念是很不一样的。人类的视觉来自于对事物的全体了解,树立于持久以来对世界的看法之上。我们看到毛茸茸的东西就会以为是植物,看到羽毛就会以为是鸟。这样的形式让我们的视觉是理性甚至模糊的,不光可以分辨我们看法的物品,甚至可以去分辨我们从没见过的物品。

但机器的视觉形式就很不同了,机器学习算法实质上是一个分类器,经过层层神经网络去分辨一张图片是不是猴子、是不是水杯、是不是电脑、是不是……最初输入后果,通知人们这张照片有90%的能够是水杯,还有40%的能够是一颗树。

这时要想让机器发生错觉就很容易了。假设我们想要让机器把水杯“看成”树,就要找到机器眼中两种物品的临界点。一张图片在机器眼中,只是有数像素点的陈列,假如细微的改动这些像素的陈列,让他们越过这个临界点,机器就会犯错。

后果就是,要不机器会把两张人眼中完全一样的图片看成两种完全不同的东西,要不会把一张不知所云的图片看成物品或植物。

对立样本:让机器变懵懂的新病毒

这种能诈骗机器的图片还有个名字,叫对立样本。我们可以把对立样本了解为一种攻击机器视觉的“病毒”,面对不同的机器学习算法会有不同的样本生成方式,最终目的只要一个,那就是混杂机器的视觉。

可怕的是,目前还没有什么好的方式去处理这种病毒。只能不时的本人生成样本停止对立,或许不时紧缩模型类别标签的大小,让攻击者难以找到其中的临界点。

不过我们也不用对这种病毒太过恐惧,目前大局部对立样本为了增强机器视觉的准确度而特别生成的。很难自然发作在理想使用场景中,毕竟你不能改动本人脸上的像素点散布。

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

尤其当对方不能直接拜访算法模型时,制造出对立样本的本钱也会很高。举个例子说,假如有博主想依托在社交媒体上发布色情内容来盈利,就要首先训练出一个能对一切图片停止微调,并且还能诈骗过社交媒体审核算法的对立模型。再对每天需求发布的图片停止处置。有这个工夫、金钱本钱和技术,早就可以去AI初创企业拿百万年薪了。

所以,我们大可不用担忧对立样本会对理想发生什么影响。直到一群来自Google的专家又想出了发生对立样本的新办法。

让AI一秒变傻的迷幻药

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

看到以上的几个图案,人类会有什么觉得?或许会以为是哪个新锐艺术家的“迷幻大作”吧。

可机器看到这些图案,会立即被迷的晕头转向,分不清眼前的图案就是是什么了。Google的专家做了一组实验,把这些小圆图案放到机器能分辨的图片上,机器就会立即给出不同的答案。

抓住机器识别的缺点,能让AI变糊涂的“新病毒”

如图所示,前一秒机器还能看出这是一根香蕉,加上这个小圆片之后,机器就笃定这是一台吐司机。

其中的原理是,神经网络辨认物体依托的是图片中的特征,只需某一分类的特征浓度够高,神经网络就会疏忽其他要素,直接给出答案。这些迷幻的小圆片,可以被了解为某一种物体特征的高度稀释,呈现在图片中时,神经网络就会立即被这些特征吸引,疏忽图片中的其他信息。

也就是说,过来我们需求经过复杂的处置才干让某一张图片诈骗神经网络,如今我们可以把这些小圆片批量参加到图片当中,让他们去批量诈骗神经网络。

想逃过AI的眼睛,只需一张神奇的小贴纸

这样一来,事情的开展就变得很恐惧了。

首先,制造对立样本一下子变成了一种本钱极低的事情,能够只需一张贴片,就能诈骗过整个模型。在上述的色情图片审核案例中,我们就找到了一个很好的处理方案。更可怕的是,假如用机器视觉来检测毒品、武器等等,是不是也能用这种方式溜之大吉?

更可怕的是,这种方式能够让对立样本进入物理世界。以往我们不能改动真实世界中的像素点,但假如把这些小图案变成贴纸粘在各个中央,或许就可以改动很多东西。

例如自动驾驶经过摄像头来辨认交通标示,假如在限速、中止牌上都贴上贴纸,驾驶零碎会不会将其视若无物,让整个世界乱套?而立功分子想要让本人的面孔从天网中逃离,也不用像《换脸》中一样动刀整容,只需在脸上贴张贴纸,就变成了行走的吐司机。

当然了,这几张贴纸也无非是提出了一种能够而已,并不是如今就可以应用它们做什么好事。但这场实验通知了我们,AI的平安水平比我们想象中要更低。让AI进入物理世界,恐怕还要再多做点预备呢。

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或许下载钛媒体App

抓住机器识别的缺点,能让AI变糊涂的“新病毒”