雷锋网 AI 科技评论按：想必各位读者对深度神经网络及深度学习都不会感到生疏，不管是在数据处置或是使用层面，都获得了斐然的成果。但囿于构造的复杂性及超参数的数量宏大，一方面带来了训练工夫过多的困扰，另一方面，为了追求精度，深度模型需求继续添加层数及参数，反过去又给深度学习带来了进一步的训练难度。如何在保证效果的前提下极大地延长神经网络零碎的训练工夫？学者们也做出了不少探究和尝试。

澳门大学讲座教授陈俊龙教授在近年来努力于处理这一成绩。结合他在晚期所做的单隐层网络的相关研讨，陈俊龙教授提出了一个名为「宽度学习零碎」（Broad Learning System，BLS）的网络构造，并从去年开端在多个场所提及这一概念。

往年年终，陈俊龙教授团队的相关论作「Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture」也将在 IEEE Transactions on Neural Networks and Learning Systems, pp. 10-24, Vol. 29, Issue 1, 2018 宣布。

为此，雷锋网 AI 科技评论与陈俊龙教授停止了一次交流，深度讨论了他关于 BLS 的研讨领会，借此得以从论文作者的角度一窥 BLS 的研讨思绪。

（陈俊龙教授简介于文末。）

图片由受访者提供

宽度学习零碎（BLS）是作为一种「深度学习网络的替代办法」被提出的，它基于将映射特征作为 RVFLNN（随机向量函数链接神经网络，random vector functional link neural network）输出的思想而设计。

上世纪 80 年代，晚期的神经网络任务次要集中于处理调参与层次构造成绩，特别是梯度下降参数的求解。事先还在美国攻读学位的陈俊龙就曾经涉足神经网络、模糊零碎及遗传算法的研讨。在 90 年代末期，陈俊龙教授基于包约翰教授提出的 RVFLNN 停止了单隐层神经网络的研讨，在增量学习上做出了一些成熟探究。但限于事先的时代条件，对大数据及训练工夫的需求并不迫切，应用 Kernel 的概念及相关使用也尚未盛行起来，因而这一理念并没有得以延续。

而在近年，陈俊龙教授与先生们也做了一些模糊神经网络构造对等以及模糊波斯曼机的深度神经网络的相关研讨。虽然零碎在精度上失掉了提升，但在训练工夫耗时过多的特性仍然不尽人意。陈俊龙教授联想到本人往期所做的相关任务，开端规划设计一个「又快又准的算法和构造」。

BLS 最重要的特点在于它的单隐层构造，具有两个重要的优势，一个是「横向扩展」，另一个则为「增量学习」。与深度神经网络不同之处在于，BLS 不采用深度的构造，基于单隐层神经网络而构建，可以用「易懂的数学推导来做增量学习」。

以往在精度不够精确时，深度神经网络会采用添加层数或调整参数个数的方式来到达这一目的，而 BLS 可以采用横向扩展的方式，应用输出映射的特征作为网络的「特征节点」，再加强为随机生成权重的「加强节点」，并将映射特征与加强节点直接衔接到输入端，对应的输入系数可以经过快递的 Pseudo 伪逆得出这样一来，新参加的神经节点，包括新参加的特征节点，BLS 并不需求从头开端学习，只需求调理与新增节点有关的权重，也可以对新参加的输出同时做增量学习。

这两点可以让零碎「在很短的工夫内找到十分高效的后果」，论文中的「effective」 和「efficient」由此而来。

陈俊龙教授通知雷锋网 AI 科技评论，BLS 最重要的局部在于「从输出值映射到特征值」，「这概念有点像 SVM 外头的 Kernel 转换。或许是 CNN 外头的卷积运算。经过转换的新数组，我们可以称为『特征值』。这转换可以随机发生，也可以微调，并由最初一层的权重再做最优值。」

而在 MNIST 与 NORB 数据库上的表现可以看到，虽然 BLS 的测试精确度并非是最高的，但绝对而言，在效劳器上的训练速度要分明快于其它深度构造神经网络零碎。宽度学习算法可以逐渐更新建模零碎，而不需求从头开端重新训练。「关于构造改动或输出变化是而不需求从头开端训练学习。由于学习工夫十分快，也可以应用网格搜索很疾速地找到一个优化的 BLS 构造。」陈俊龙教授通知雷锋网 AI 科技评论。

作为一个「无需深度构造的高效增量学习零碎」，BLS 实践上也存在着难点与应战。在训练进程中，假如要经由稀疏的映射而对加强节点做比拟好的组合，从输出的非线性的稀疏转换是一个比拟重要的关键点。

此外，陈俊龙教授向雷锋网 AI 科技评论表示，假如输出过多时，（如 20 万个输出样本，每个样本至多有两三千维度时，）伪逆的算法所用的内存就对计算机提出了比拟高的要求。「虽然可以经过做样本输出的增量学习来达成，但是在每一步的更新后，计算机总是会有巨大的误差。假如可以把经由输出的增量学习找出来的最终权重，跟把一切输出搜集一同做 batch mode 的伪逆所得的权重是一样的话，方能处理内存的成绩。」

还有一个难点在于新参加节点会带来糜费的能够性：基于新参加节点增量学习的前提，无从保证新节点与原有节点能否构成线性独立。而假如要做一些算法处置（如 orthogonal projection）来构成线性独立，则能够会额定添加训练工夫，这又与宽度学习的初衷相悖。

虽然目前还存在一些优化空间，但陈俊龙教授以为，BLS 迫近性优、算法快的特功能够使其很快成为主流训练办法。「在智能控制方面，相似 BLS 单隐层的神经网络已十分的盛行。」这一点在大数据时代下显得较为适用：当零碎搜集到新输出数据时，在短工夫内可以直接对节点停止更新，保证了零碎的完好性。

「假如在一个在使用的场景里，在精确度可以被承受的前提下，能用最短的工夫来完成义务，这何尝不是一举两得的事情？」在智能控制方面，大局部的零碎由于有反应的回路，所以宽度学习网络可以很疾速地来做包括零碎确定、微调、及输出的更新在内的任务。另一个重要的思绪在于，宽度学习可以很容易地置于客户端来执行，而不需求依赖近程的云端计算，得以很快地做实时的更新，不必矮小上的超算机。陈俊龙教授也表示，BLS 的次要使用场景集中在智能控制的环境中停止实时更新学习，譬如在智能家居的环境中更新语音辨认、人物辨认、物体辨认的相关零碎，那么 BLS 也能在其中发扬它的重要优势，甚至成为主流。

陈俊龙教授在将来会将任务重心放在 BLS 的算法优化和波动上，除此之外，寻觅使用的行业与场景也成为了陈俊龙教授接上去一段工夫的任务要点。在实际知识的根底上不忘找寻使用场景，是陈俊龙教授治学的根本理念。

回想起在普度大学的博士就学阅历，陈俊龙教授之所以会把这段阅历评价为「整个事业生涯的一个重要里程碑」，正是在于普度大学十分看重工程面前的实际知识，强调实际与实践使用的结合。事先陈俊龙教授所在的智能制造团队的 Intelligent manufacturing，上司傅京孙教授在普度大学树立的「美国工程研讨中心」的子团队，有着不少工程实际的训练。

陈俊龙教授也正是秉承博士导师赠予的箴言「always try your best」，不断潜心学问，笔耕不缀，共有 31 篇高被引论文（在 ISI 排名前 1%）。在问及如何做论文选题时，陈俊龙教授也不忘首先感激论文任务的协作者们，随后再开端谈本人的观念。他以为，要做选题之前，要先对学科研讨停止细细剖析，判别是做增量式研讨还是大的概念打破，其次，也要对学科研讨停止细读剖析。「其实教师们都有出科研文章的压力。先生得毕业，有时分就不得不出增量式的改进文章（我有时也这样），但是要时时的提示本人在一段工夫内，还是要想想哪些文章是重要的，会有打破的。」

在采访时期，陈俊龙教授向雷锋网 (大众号：雷锋网) AI 科技评论提及了两个促使他「跳出温馨感」的节点。一个是 2010 年，在美国长驻 28 年，担任教职 23 年后，陈俊龙教授决议回国，担任澳门大学的科技学院院长与讲座教授，后续又担任了自动化学会的副理事长。

「在美国的日子比拟单纯，经过了斗争期拿到了终身教授教职时，不管是在任务和生活上都很惬意，它的温馨感比拟高，但是提升到高层的时机相当就比拟少。还有最重要的一点，应该是我团体的观念，当一件事情没有应战感时，就能够是要跳出那温馨感的时分了。回国来澳门大学是我人生治先生涯中的一个重要分水岭，它有应战感。」在任内，陈俊龙教授推进澳门大学的工程学科及计算机学科取得国际工程组织（华盛顿协议跟首尔协议）的认证。

作为留美多年的学者，陈俊龙教授在访谈中一方面一定了美国在 AI 研讨上的多层面深化，在根底实际、技术层面及行业使用的都有着深沉的积聚；另一方面也一定了国际对科研的支持力度（包括澳门、边疆），「我国人工智能技术攻关和产业使用虽然起步较晚，但在国度多项政策和科研基金的支持与鼓舞下，近年来开展势头迅猛。在算法上，我国也可以媲美。虽然中国在人工智能的论文数量方面超越美国，但中国学者的研讨影响力目前尚不及美国或英国同行。这也是我们这一行应该侧重的。同时我以为 AI 方面的科研应该要有使用市场及对普通民众的有感（军事的使用另外谈）。之前的中国科协的九大会议里的万众创新就是这种思想。」

而第二个节点则是最近，陈俊龙教授刚刚完毕了他作为澳门大学科技学院院长的任期，也提及他正在考虑与企业协作的切入点以及「跳出温馨感」，坦承「这是很不复杂的」。陈俊龙教授以为，绝对而言，在学术界的研讨还是绝对自在，可以「本人给本人出很困难的标题，然后想方法去处理它」，这种成就感让陈俊龙教授觉得骑虎难下。但企业的研讨有工夫的急切性，也有市场、经济财务的压力。因而陈俊龙教授以为，要「跳」到企业界不只有它的难度，也异样无机缘巧合的要素。

附陈俊龙教授简介：

陈俊龙，澳门大学讲座教授及科技学院前院长，博士生导师，国度千人学者，自动化学会副理事长，IEEE Transactions on Systems, Man, and Cybernetics: Systems 期刊主编。1985 年获美国密西根大学硕士学位，1988 年获美国普度大学博士学位。曾在美国德州大学工学院任终身教授、工学院副院长及电机计算机系主任。曾任 IEEE Systems, Man, and Cybernetics Society (SMCS) 学会国际总主席（2012-2013），现任资深主席（2016-2017）。陈教授是 IEEE Fellow、AAAS Fellow、CAA Fellow、国际零碎及控制论迷信院院士（IASCYS）、香港工程师学会 Fellow，担任多个 IEEE 期刊副主编。科研方向包括：零碎及智能算法实际与工程，数据剖析及发掘，物理建模及智能控制。

陈教授近五年掌管与参与的各类国度科技方案包括：国度基金委、科技部 973 物联网方案子课题和澳门迷信基金会。曾承接美国基金委，美国航天局，美国空军科研实验室，海军研讨实验室科研方案。两次获澳门自然迷信奖，2016 年获母校美国普度大学出色电机与计算机工程奖。

。