雷锋网 (大众号：雷锋网) AI 科技评论按：并行计算是进步计算机零碎计算速度和处置才能的一种无效手腕。它的根本思想是用多个处置器来协同求解同一成绩，行将被求解的成绩分解成若干个局部，各局部均由一个独立的处置机来并行计算。在训练 AI 零碎的时分，并行是进步计算效率的次要途径。

作为机器学习方面的专家，腾讯 AI Lab 专家研讨员、美国罗彻斯特大学助理教授刘霁博士以为，目前并行计算的次要难点在于如何进步并行效率。

因「提出一系列异步并行算法，处理了传统同步并行算法瓶颈成绩，设计机器学习中去中心化的并行计算框架，可以极大地增加通讯代价」，刘霁博士在上个月作为「创造家」当选 MIT TR 35 China（概况参见  MIT TR35 中国区榜单发布，清华朱军、中科院陈云霁等十位 AI 相关学者获此殊荣 ）。

他们团队最具创始性的任务有两个：一是用异步的方式并行一切机器，二是提出去中心化的并行框架。

图：腾讯 AI Lab 专家研讨员，美国罗彻斯特大学助理教授刘霁

从一开端选择偏冷门的机器学习，到见证这一学科的逐年炽热，刘霁博士不只成为了机器学习飞速开展的亲历者，也一步一个足迹在该方向深耕。

作为腾讯 AI Lab 的一员，刘霁博士对雷锋网 AI 科技评论表示，他们的研讨集中在游戏 AI，比方王者光彩，星际争霸。「游戏 AI 是人工智能与博弈论的一个穿插范畴，是了解通用人工智能的重要渠道。」

既投身学界，也涉足业界，刘霁博士说道，学术界和工业界各有各的优势和缺陷：学术界常常关怀的成绩未必是工业界真正的痛点，但是可以锤炼思想和处理成绩的才能；工业界存在极具使用价值的成绩，但很多时分缺乏追求技术上的创新。「二者假如能无机结合，我想一定能碰撞出不一样的火花。」

立足当下，放眼将来，他对研讨并行优化、机器学习的同窗提出建议：

「深度学习的热潮终将褪去……把根本功打扎实，少一些功利态度，多看看比拟难的文章，这样才干以不变应万变迎接深度学习后的下一个热潮。」

以下为雷锋网 AI 科技评论对刘霁博士的采访原文，作了不改动原意的编辑整理，以最大复原刘霁博士对技术的深度考虑。

1、祝贺您当选 MIT TR35 China 创造家榜单，这是对您研讨任务的一定，您有何感想可以分享一下？

十分感激我的先生和一切的团队成员，我想这个荣誉属于大家。同时也十分感激张潼教师以及一切引荐人的支持。觉得外界对我们的希冀更高了。

2、您以为这次的成功上榜次要取决于哪些要素？

• 首先得益于这个大环境对 AI 的追捧。AI 正处于历史的风口浪尖，社会和人类对 AI 有着有限甚至不太明智的神往和等待。

• 同时也得益于本人在这个方向不懈的坚持，还记得我刚开端从事研讨的时分，有两个研讨方向可以选择：图形学或许机器学习。图形学更容易找任务，但是我选了机器学习。机器学习在那时分算偏冷门的研讨方向，而且很难失业（彼时很难想像如今的火爆）。事先做出这种选择的次要缘由是我对研讨通用性的办法更感兴味，团体觉得这更有应战，不是一切人都能做的（尤其读了几篇张潼教师的文章当前）。

• 还有一个重要的缘由是在正确的时分总能遇到适宜的长辈和师长给我指引，比方：机器学习的启蒙教师叶杰平教师（密歇根大学计算机系终身教授）在我初入行就帮我找到适宜的成绩，后续再经过努力，总能获得一些阶段性的效果，订立一些庞大的目的。我从 Benjamin Recht（加州大学伯克利计算机系终身教授）那里学到了如何寻觅有价值的科研成绩；从博士导师 Stephen Wright（威斯康星大学计算机系 George B. Dantzig professor and Amar and Balinder Sohi professor）那里看到了最地道的科研实质和最严谨的科研态度；从 Ming Yuan（哥伦比亚统计系教授）那里学到了从普通到特殊再从特殊到普通的科研办法论；从 Jerry Zhu（威斯康星大学计算机系 Sheldon & Marianne Lubar Professor）那里学到了如何开辟一个全新的研讨范畴。

3、您中选的理由是「提出一系列异步并行算法，处理了传统同步并行算法瓶颈成绩，设计机器学习中去中心化的并行计算框架，可以极大地增加通讯代价。」能详细谈谈您这一系列相关的研讨任务吗？这些任务给目前的人工智能社群带来了哪些意义？

这一系列任务对 AI 有着十分重要的意义。将 AI 转化成消费力次要取决于两个方面：

第一，如何把实践成绩转化成计算成绩；第二，如何将计算成绩求解变得高效。我在这两方面均有涉猎。

• 第一个方面的任务包括强化学习，稀疏学习等。我们在强化学习方面的研讨在人工智能顶级会议 UAI 上取得 Facebook 最优先生论文奖。

• 第二个方面的任务次要是在并行计算上，进步并行效率可以无效进步训练 AI 的效率，让 AI 的迭代和产业化愈加迅速。

当将来算法模型比拟固定当前，大公司之间的竞争更多是计算效率的竞争。比方训练围棋 AI 的时分，成百上千的机器需求跑好几周的工夫。假如有公司可以在一周内搞定，那么就会有更多的工夫和时机去迭代和试错，有更大的能够训练出比 AlphaGo 更凶猛的 AI。

并行是进步计算效率的次要途径，目前的次要难度在于如何如何进步并行效率。浅显一点讲，比方用一台机器训练围棋 AI 需求 1000 天，如今给你 50 台机器，你需求多久才干完成？最理想的状况是 20 天（这是最高的并行效率）。这在实践上不能完成，由于机器之间需求通讯协调任务，而当机器十分多的时分，代价十分大。我们次要处理的成绩是如何增加机器之间通讯的代价，进而进步并行的效率。

我们最具有创始性的两个任务如下：

第一个先驱性的任务是用异步的方式并行一切的机器。异步是绝对于同步而言，同步的方式比拟好了解。

我们思索求解一个机器学习的成绩，这样的成绩通常都能分解为若干个大义务，一个处于中心的机器每次都将大义务分解，然后送给每个机器，等一切机器都执行完义务之后，将他们前往的后果汇总，然后进入下一个大义务。这是最直观的并行方式，次要成绩在于有的机器快有的机器慢，招致每次一切机器都在等候最慢的那个。在后面提到的那个例子里，能够需求 80 到 100 天。

异步并行可以处理这种快等慢的成绩，复杂来说就是让一切机器都不需求等候其他机器，每个机器只需完成了分给的义务，直接到中心的那个机器支付新义务，不必跟其他机器协同或许等候。这种方式完全打破了传统的同步并行方式，极小节省了同步协同代价。但是这种方式完全改动了义务执行的顺序，能否还能到达同步方式的解并不是不言而喻的。

我们做了很多实际和理论上的任务，奠定了异步并行的技术根底。在后面的那个例子外面，通常只需求 30 到 40 天，相比同步的办法可以节省超越 50% 的工夫。如今异步并行技术曾经普遍被机器学习软件采用，比方 Google 的 TensorFlow，Amazon 的 MXNet，还有 Microsoft 的 CNTK。

我们的第二个创始性的任务是提出了去中心化的并行框架。

传统的并行架构都是假定有一个中心化的节点，来搜集后果和分配义务给其他机器，这样做的次要成绩在于中心节点会遭遇通讯拥堵，尤其是在网络条件不佳的情况下，以为一切机器都需求跟这个中心节点交互。为了缓解这种通讯拥堵，我们提出了一种去中心化的并行框架。复杂来说就是去掉了中心节点，机器跟几个邻居之间互联通讯。

我们从实际和理论上都证明了这种方式可以保证求解的正确性，相比于传统的中心化的办法，不会添加额定的计算量，可以无效缓解交通拥堵状况，从而进步并行效率。这种去中心化的技术目前还比拟新，我们相关的任务当选机器学习顶级会议 NIPS 2017 的大会宣讲论文（Oral 的当选概率大约 1%）。置信在将来，会对新一代的并行计算平台和软件开发发生极端重要的影响。

4、目前对这种去中心化的数据的实际研讨，还有哪些亟待打破的中央。而想要大规模使用于工业理论，又有哪些难点？

次要有几个方面：

• 如何设计更高效的算法进步这种散布式学习的效率。

• 如何无效均衡通讯代价和计算代价。

• 假如有的节点向它的相邻节点传递错误信息，该如何设计算法保证正确性和波动性。

我想最初一点是用于大规模工业理论最难的中央。

5、除了并行计算，您的研讨还触及到优化算法、强化学习。此外，您还在罗切斯特大学树立了机器学习和优化研讨组。目前你们小组在优化算法、机器学习方面获得了哪些停顿？

优化算法和并行计算是亲密联络的，后面曾经有很多引见。我次要引见一下与强化学习相关的研讨。

我第一次接触强化学习是在2010年举行 NIPS 大会时，那机遇器学习并不火，强化学习更是冷门中的冷门。我们做过的两个比拟有影响力的任务都是关于如何求解强化学习中的中心成绩 Bellman 方程，Bellman 方程不同于普通的机器学习或许深度学习求解的最小化优化成绩。

传统的办法为了求解，做了各种各样的近似，招致不太容易扩展到求解大数据的成绩，实际性质难以剖析。我们找到了一种跟 Bellman 方程等价的最小化最大化优化成绩，直接把原始成绩和优化成绩联络起来了，这样一来，不只可以使用很多优化的实际性质，而且也容易扩展到大数据计算。这个任务取得了 2015 UAI 大会上的 Facebook 最优先生论文奖。

我们第二个重要的任务是直接求解 Bellman 方程（不做任何近似或许等价变换），我跟在普林斯顿的 Mengdi Wang 教授协作，研发了一套新的最优化的技术，称为 composition 优化。相应的算法和实际框架都曾经树立起来了，开启了一种新的求解强化学习成绩的思绪。

6、目前机器学习的优化算法很大水平上依然依赖研讨者的经历办法，缺乏实际支持及可解释性。您以为可以从哪些角度来处理算法的黑箱成绩？

我想你次要说的是深度学习这种 nonconvex 的优化成绩吧（convex 的成绩曾经了解得绝对比拟清楚了）。我觉得要处理这个成绩，技术层面是其次，更重要的是需求支持和鼓舞基本性研讨的环境。

坦率来讲，我团体觉得很多深度学习相关的优化算法文章和建模文章并不严谨，包括一些大牛的文章。文章大多缺乏严谨的推理和论证，过火置信经历性的东西。比方我们如今常用的深度学习的工具包（比方 TensorFlow）里的很多优化技巧都缺乏严厉的实际论证，例如 batch normalization，random dropout 等等。大家的逻辑是：一旦有文章说经历上效果不错，也有现成的工具包，我们就用吧，不必管能否收敛。假如效果不好，我们调调参数，要不再换一个办法，最初不行了就改网络。从工程上讲这个是完全没有成绩的，由于目的只是做好一个特定的使用或许数据集。但是假如从研讨的角度会形成不良的结果，由于研讨的目的是为了提供波动性好顺应性强最好还能有明晰的实际保证的处理一类成绩和使用的算法和工具。

从功利的角度来讲，发一篇深度学习实际的研讨文章要比发一篇深度学习实验研讨的文章难很多。当一个范畴的大少数人都完全置信纯经历的东西，从研讨上讲这是十分风险的。一朝一夕，大家就不会去质疑这些常用的办法能否正确，虽然它很有能够是不完全正确的。这种研讨方式也会滋长研讨者不严谨的作风。

深度学习的一些经历性研讨的文章常常呈现一些互相统一的结论，比方我曾听说过两个一模一样的结论，一个是说深度学习训练时大 batch 好，另外一篇文章说小 batch 好。想想看，这些不能完全经得起琢磨的东西，一旦固化到我们的硬件，使用到我们的安康医疗，将会是多么令人不安的事情。

总的来说，我觉得需求有鼓舞研讨者去探寻基本的环境，少一些投机式的研讨。最初我想借用 Eric Xing 在深度学习是不是炼金术之争上的一句话：炼金术师并不可耻，可耻的是并不努力从「炼金术师」学成「化学家」。

7、同时投身于学界和业界，您如何对待这两者之间的异同点？

就我团体来讲，学术界的研讨愈加地道和单一，目的是把一个个笼统的学术成绩研讨清楚，权衡的规范大多是论文的宣布以及创造各种酷炫的办法。而工业界是真正接触实践项目的中央，权衡规范是项目的成功与否，更像一个零碎工程，需求有产品化的思想，最初能把东西做出来才是目的，两头任何先进或许酷炫的技术都不是目的。

学术界和工业界各有各的优势和缺陷。学术界常常关怀的成绩未必是工业界真正的痛点，但是可以锤炼思想和处理单个成绩的才能，而工业界有极具实践使用价值的成绩，但很多时分过度依赖于搭积木的随着流量往智能终端设备迁移，新的机遇“物联网商业社交时代”也将迎来，通过人的第六器官（智能手机）和智能设备终端的联网互动，从而改变了人的行为习惯和消费方式。线下流量通过LBS定位重新分配，又通过物联网终端智能推荐引擎引导到网上任意有价值的地方，至此互联网下半场拉开帷幕。方式完成项目，缺乏对技术上创新的追求。

假如二者能无机结合，我想一定能碰撞出不一样的火花。腾讯在内容、游戏、社交到医疗范畴，有极为丰厚的使用场景，而 AI Lab 也有优秀的研讨与工程师团队，这种研讨与使用结合，十分有利于推进技术的疾速迭代与开展。

8、关于研讨并行计算、机器学习和优化算法的同窗们，您有哪些学习和研讨上的建议？

深度学习的热潮终将褪去，未来它很有能够成为大家都会的一种使用工具，而且运用也会越来越方便，连自动调参都能完成，完全成为端到端的效劳。

我的建议是与其如今猛追深度学习的热潮，不如多学数学、优化、统计，把根本功打扎实，少一些功利态度，多看看比拟难的文章，这样才干以不变应万变，迎接深度学习后的下一个热潮。

（完）

。