来源:Towards Data Science
编译:Kathy
本文是笔者对深度神经网络和机器学习在 人工智能 范畴的瞻望,以及关于如何取得日益复杂的机器来协助我们处置日常事务的一些意见。本文并不在于预测将来的开展趋向,而是想更详细地剖析这个范畴的开展轨迹,目前趋向和开发更有用的人工智能的技术。并非一切的机器学习都是以开发人工智能为目的的,有些是为理解决一些更容易处理的成绩,本文也将一并在这里停止研讨和讨论。
目 标
该范畴的目的是使机器处置日常事务时到达人类或逾越人类的才能。自动驾驶、智能家居、人工助理、安防摄像头是首要目的。家庭烹饪和清洁机器人,无人侦查机和机器人是第二个层次的目的。另一个目的是取得挪动设备上的助理或全天候在线助理,再一个目的是开收回可以感受我们生活阅历的全程陪同助理。我们的最终目的之一就是是结构一个完全自主的天然集体,它可以在日常义务中到达人类的程度上或超越人类。
软 件
软件在这里被定义为用优化算法训练以处理特定义务的神经网络构造。目前,神经网络是机器学习处理成绩的实践工具,要处理的成绩触及到监视学习下的对大数据停止分类。
但这并不是人工智能的全部,真正的人工智能需求在理想世界中做出反响,要常常在没有监视的状况下学习并处置成绩,要能从未知的经历中学习,要可以顺应不同的环境并结合以往的知识来处理以后的应战。
我们如何从目前的神经网络迈入人工智能
神经网络构造—— 几年前,当该范畴蓬勃开展时,我们常常说它具有从数据中自动学习算法参数的优势,因而优于手动操作。但我们显然遗忘了一个小细节…神经网络构造的根底是经过训练去处理一个特定的义务,而不是从数据中停止学习!现实上它依然是手动设计的。从经历中停止手动操作,这是目前该范畴的次要局限性之一。
在这方面曾经有研讨,但还任重道远。神经网络构造是学习算法的根本中心。即便学习算法可以掌握一个新的义务,假如神经网络不正确,学习算法也完成不了这个义务。从数据中去学习神经网络构造的成绩是,破费太长工夫在大数据集上停止多种构造的尝试。我们必需尝试从头开端训练多重构造,看看哪一个最无效。这正是我们明天运用的耗时的试错顺序!我们应该克制这个局限性,在这个十分重要的成绩上投入更多的脑力。
无监视的学习 ——我们不能总是陪伴神经网络左右,对他们训练进程中的每一步和每一个经历停止指点。我们无法在一切的状况下纠正它们的错误,并就其表现提供反应。但这正是我们明天对受监视的神经网络所做的:我们协助它们在每种状况下都正确地执行义务。相反的,人类只需从多数几个例子中学习,就可以自我纠正,并以延续的方式学习更复杂的数据。我们需求更普遍的开展无监视学习。
预测神经网络 ——以后神经网络的次要局限在于它们不完全具有人脑最重要的特征之一: 预测才能 。关于人脑如何任务的一个次要实际是人脑能不时地做出预测:预测编码。其实我们每天都会阅历着这样的进程。例如:当你举起一个物体时,你以为它很轻,但后果却很重,这会让你有些不测,由于当你要去拿它的时分,你曾经预测了它将如何影响你和你的身体,或许你四周的全体环境。
预测不只可以让我们理解世界,更能让我们明白我们本身的局限。它让我们明白什么时分应该去学习、应该去学习什么。认知才能与我们大脑中的留意力机制分明相关:我们的天性会让我们保持99.9%的感官输出信息,只专注于性命攸关的数据——要挟在哪里,我要往哪逃。或许,在古代世界里,当我们匆忙走出家门时,让我们搜索最重要的信息,我的手机在哪里?
树立预测神经网络的中心是与理想世界停止互相作用,对复杂的环境做出呼应。因而,这是一切的强化学习任务的中心内容。
以后神经网络的局限性 ——我们之前曾经讨论过神经网络的局限性。无法预测,不可解释性,并且存工夫上的不波动性——我们需求一种新的神经网络。神经网络胶囊是处理现有神经网络局限性的一种办法。
关于神经网络胶囊的概述可以参考>>https://medium.com/mlreview/deep-neural-network-capsules-137be2877d44。
神经网络胶囊必需扩展一些附加特征:
- 对视频帧的操作 :这很容易,由于需求做的就是使神经网络胶囊路由检查近期的多个数据点。这相当于对近期重要数据点的关联存储。留意这些不是最新帧的最新表达,而是最新帧的常常呈现的不同表达。取得不同内容的不同表达,一种方式是可以经过仅保管与预定义值差别极大的表达。这个重要的细节允许只保管关于最近历史的相关信息,而不是一系列无用的相关数据点。
- 预测神经网络才能 :这曾经是静态路由的一局部,它迫使这一层预测下一层。这是一种十分弱小的自主学习技术,在我们看来,它胜过迄今为止开展的一切其他类型的无监视表示学习。胶囊如今需求可以预测临时时空关系,这个目的还没有完成。
继续学习 ——这一点很重要,由于神经网络需求不时的继续学习新的数据点来维持下去。在每个实例中,目前的神经网络都要从头开端重新训练,否则就不能学习新数据。神经网络需求可以自我评价他们对新训练的需求,以及他们对某件事有所理解这一现实。这个也需求在理想生活中停止施行,也是强化学习义务所需的,也正是我们希望的让机器在不忘旧义务的状况下学做新义务。
迁移学习 ——或许说如何让这些算法经过观看视频独立学习,就像我们想学习如何烹饪新东西一样?这种才能需求下面列出的一切元素,而且关于强化学习也很重要。如今你真的只需给个范例就可以训练你的机器去做你想做的事情,就像我们人类学做每件事时一样!
强化学习 ——这是深层神经网络研讨的最高境界:教机器如何学习对四周的坏境,即对真实的世界做出反响!这需求自我学习,继续学习,预测才能,以及很多我们还不晓得的东西。强化学习范畴有很多任务要做,但对我们来说,这些还都只是粗浅的成绩,离真正处理成绩还有十万八千里。
强化学习通常被称为“蛋糕上的樱桃”,意思是它只是天然类脑上的小智能。但是,我们如何才干失掉一个“放之四海而皆准”的大脑,来轻松处理一切成绩?这是一个先有鸡还是先有蛋的成绩!明天为了一个个处理强化学习成绩,我们运用规范的神经网络:
- 一种深层神经网络,采用大数据输出(如视频或音频)并将其紧缩成表达;
- 序列学习神经网络,如RNN,来学习义务。
这两个办法都是成绩的分明处理方案,而目前这显然是错误的,但是每团体都在运用,由于它们是现成可用的模块。这样的后果并不会令人印象深入:是的,我们可以从头开端学习玩电子游戏,并掌握全察看型的游戏,如象棋和围棋,但是不需求我来说你也晓得,没有什么比在复杂世界中处理成绩更困难。想象一个将来会呈现一个玩《地平线:零拂晓》比人类更优秀的人工智能顺序…太想看到这一幕了!
不再运用循环神经网络 ——循环神经网络( RNN )就快要被淘汰了。RNN在训练的并行化方面特别差,甚至在特殊的定制机器上也很慢,这是由于它们的内存带宽运用十分高。因而,它们的内存带宽限制会比算力限制愈加严重。基于留意力机制的神经网络在训练和部署方面效率更高、速度更快,而且在训练和部署方面遭到的可扩展性影响更小。神经网络中的留意力有潜能真正彻底改动许多体系构造,虽然它还没有完全失掉应有的认可。联想记忆和留意力的结合是下一波神经网络开展的中心。
留意力曾经显示可以像RNNs那样学习序列,并且计算量增加多达100倍!谁能无视这点?
我们看法到基于留意力的神经网络将渐渐取代基于RNN的语音辨认,同时它们也在强化学习构造和通用人工智能方面探索出路途来。
分类神经网络中的信息定位 ——我们曾经讨论了如何定位和检测图像和视频中的关键点。这实践上是一个已处理的成绩,将嵌入到将来的神经网络构造中。
硬件
深度学习的硬件是提高的中心。如今让我们先遗忘2008 – 2012年深度学习的迅速开展,而最近几年则次要源自于硬件的提高:
- 手机中的廉价图像传感器可以搜集宏大的数据集——虽然这也得益于社交媒体,但这个要素还只是其次的;
- GPUs可以减速深层神经网络的训练。
在过来的1 – 2年中,机器学习硬件呈现了蓬勃开展,尤其是针对深层神经网络的机器学习硬件。Abhishek Chaurasia 等人树立了深度神经网络减速器 FWDNXT(http://fwdnxt.com/)
有几家公司正涉足这个范畴: NVIDIA (不言而喻),英特尔,Nervana, Movidius, Bitmain, Cambricon, Cerebras, DeePhi,谷歌,Grapcore,Groq,华为,ARM,Wave计算。这些公司都在开发可定制的可以训练和运转深层神经网络的高功能微型芯片。
开发这些芯片的关键在于为神经网络操作提供最低的功率和最高的测量功能,而不是像许多人宣称的那样每秒钟可以停止的原始实际操作。
但该范畴很少有人晓得硬件如何真正改动机器学习、神经网络和人工智能的。而且很少有人晓得微芯片中重要的是什么以及如何开发它们。
以下是需求思索和沉思的方面:
- 训练硬件还是推理硬件 ?很多公司都在开发可以为神经网络提供训练的微型芯片。这是为了分取NVIDIA的市场蛋糕。但训练只是深度神经网络使用的一小局部。在每个训练的后果都在实践使用顺序中都有百万个部署。例如,你可以在云上运用的目的检测神经网络:它曾被训练过一次,当然是在很多图像上,但一旦训练完成,就可以在数百万台计算机的数十亿个数据上运用。这里要说的是:与可以运用的次数相比,训练硬件要破费的工夫就是不值一提了。制造训练芯片组需求额定的硬件和技巧。取得相反的功能,同时也需求转化成更高的功率,因而不是以后的最佳选择。训练硬件很重要,而且在推理硬件上复杂修正一下就可以,但它并不像很多人以为的那么重要。
- 使用顺序—— 在这个范畴,硬件可以更快、更低功耗地提供训练是十分重要的,由于它将能更快地创立和测试新模型和使用顺序。但真正向前推进提高的重要步骤是适用于使用顺序的硬件,次要是推理硬件。如今有许多使用顺序无法完成或不适用,由于短少硬件或许硬件效率低,而不是软件不行。例如,电话可以成为语音助理,但目前它们还不是最佳形态,由于不能全天候任务。甚至连家庭助理都被绑在了电源上,无法跟着我们在房间里四处走,除非在四周撒上多个麦克风或设备。不过未来最了不起的使用顺序能够是从生活中移除手机屏幕,并将其嵌入人的视觉零碎。没有超高效的硬件,一切这些和其他更多的使用(小型机器人)都是无法完成的。
- 赢家和输家 ——在硬件方面,赢家将是那些可以提供每单位功能能耗尽能够低的产品,并且可以迅速进入市场的厂商。想象一下手机改换SoC(system-on-a-chip, 芯片上的零碎),如今每年都在发作。再想象一下将神经网络减速器嵌入到内存中。这项技术能够会疾速地降服大局部市场,并具有明显的浸透力。完成这些的就会成为市场的成功者。
- 关于神经形状神经网络硬件,可以参阅https://towardsdatascience.com/neuromorphic-and-spiking-or-not-894a836dc3b3
顺序
后面的“目的”局部扼要讨论了使用,如今的确要详细引见下细节了。人工智能和神经网络将如何进入我们的日常生活?
以下是我们要讨论的内容:
- 图像和视频分类 —已在许多云效劳中运用。接上去的步骤将在相机中执行异样的操作—明天,许多公司都可以提供这种效劳。神经网络硬件将可以移除云并在本地处置越来越多的数据:注重隐私和节省互联网带宽的产品将成为赢家。
- 语音助手 ——正在成为我们生活的一局部,它们在“智能”家庭中播放音乐并控制根本设备。聊天说话是人的根本活动,因而采用语音控制很方便。可以交谈聊天的小型设备正在发作着革新。语音助理把我们效劳得越来越好。但它们依然被电线绑住了。我们真正想要的助手是可以和我们一同走一同动的。那么我们的手机呢?在这个范畴硬件再次获胜,由于它使这一切成为能够。Alexa、Cortana和Siri将永远陪伴你左右随时待命。手机将很快变成智能家居。这又是智能手机的另一次成功。但我们也希望当我们在城里转悠的时分它也可以呈现在我们的车里,而云运用的越来越少。将来的硬件将享有更多的隐私和运用更少的带宽本钱,在1 – 2年内可以完成。
- 真正的人工助理 ——声控的方式很棒,但我们真正想要的是我们的助手也能看到我们看到的东西。在我们挪动的时分剖析我们四周的环境。可以参考这个例子https://medium.com/@culurciello/shopper-artificial-intelligence-to-help-you-shop-d252bd995f78, 以及终极理想的范例http://hyper-reality.co/ 这才是让我们深深爱上的人工智能助理。神经网络硬件将再次满足你的愿望。剖析视频馈送在计算方面十分昂贵,并且到达了现有硅硬件的实际极限。换句话说,这要比语音助理难做的多。不过这并非不能完成,许多智能初创公司,如AiPoly,曾经拥有了完成这个功用的一切软件,但还缺乏使其在手机上运转的弱小硬件。还要留意的是,用可穿戴设备交换手机屏幕将真正使我们的助手成为我们身体的一局部!
大众号/ 将门创投