雷锋网 AI 科技评论按：在大规模机器学习成绩的求解中，随机优化算法占据着不可替代的位置。大数据在提供海量信息的同时，也暴露了传统计算办法效率低的成绩。举例来说，从最后引发深度学习热潮的卷积神经网络，到时下最前沿的对立神经网络和支撑 AlphaGo 的决策神经网络，都可以被归类为带有非凸目的函数的优化成绩。而在海量训练集上求解此类成绩都是依赖于 ADAM 和 RMSprop 等随机算法求解器。近些年来，随着大数据带动下统计学习，机器学习和深度学习等人工智能范畴的迅猛开展，大规模随机优化算法曾经发生了普遍的使用。雷锋网 AI 科技评论在与佐治亚理工学院蓝光芒教授交流的进程中，更深入天文解了随机优化算法在凸和非凸成绩上的研讨停顿和转化，也感遭到蓝光芒教授在随机优化成绩上的深入洞见和前瞻性。
蓝光芒教授为佐治亚理工学院博士、佐治亚理工学院终身教授，他目前还担任计算优化和使用（2014 年至今）、优化算法顶级期刊 Mathematical Programming（数学规划，2016 年至今），SIAM Journal on Optimization（SIAM 优化，2016 年至今）等杂志的副主编，是国际上机器学习和深度学习算法方向的顶级专家。蓝光芒教授的次要研讨范畴为：随机优化和非线性规划的实际、算法和使用，包括随机梯度下降和减速随机梯度下降，用于处理随机凸和非凸优化成绩。
蓝光芒教授早在博士求学时期就专注随机优化算法的攻坚。彼时还是 2007 年，深度学习这个概念还仅限于专业范畴学者间的交流。在事先，随机优化算法有一些晚期的研讨雏形，但仍不适用，没有很好地开展起来。蓝光芒教授在博士阶段的第一个任务中，从实际及计算两方面严厉证明了鲁棒性随机优化算法的可行性，并标明这一任务比以前传统确实定算法功能更佳。
回想起事先博士研讨的阅历，蓝光芒教授以为，机器学习在事先还没有这么火的缘由，次要在于缺乏无效的算法去求解。「以往的算法，需求将数据自始至终跑一遍，重复屡次才干失掉一个无效的后果，」蓝光芒教授向雷锋网 AI 科技评论表示，在这种情境下，数据的添加不是如虎添翼的得力助手，而是羁绊研讨前行的荆棘；而他提出的这一算法处理了大数据环境下的机器学习成绩，并且从实际上证明了海量数据的优势及重要性。
在博士论文的第二个任务中，蓝光芒教授证明了减速随机梯度下降（SGD）（前述 ADAM 等算法的根底）在处理随机优化模型成绩中的可行性。随机梯度下降算法在深度学习里普遍被以为是一种十分无效的算法，但事先业界以为减速算法是不能用于求解随机优化模型的，「就像人在奔跑时，减速时步伐迈得很大一样，随机优化成绩就相当于行走在一条多变化的路途上，事先以为并不合适这种大步长的算法。」而蓝光芒教授在处理业界这一难题时证明减速算法也能使用于随机优化模型，并到达理想效果。此外，在不同类型确实定性成绩中，这一算法也能到达最优化的效果。
不过，蓝光芒教授的这一研讨任务在事先只对凸成绩收敛。这又催生了他后续在非凸成绩的研讨。在以前，优化与统计处于相得益彰的地步：研讨优化的学者专攻算法，而研讨统计的学者专注模型；在机器学习逐步走向盛行的时分，研讨者将优化与统计结合在一同，综合地处理成绩。
机器学习实质上是一种随机优化成绩，而神经网络就是一种非凸的随机优化成绩。我们可以用更浅显的言语来了解凸成绩和非凸成绩。假如用登山来描述机器学习的求解进程，凸成绩相当于只需求攀爬一座山峰的峰顶，比拟容易确定全局的最高点。而非凸优化相当于希望可以在一整个包括多座山峰的山脉或山系中找到最高点，即找到全局最优解；但在客观条件限制，无法一座座山峰攀爬的状况下（需求疾速求解），很大约率下我们只能找到在视野所限内最高的山峰，也就是部分最优值，但不一定是全山脉最高的山峰，即全局最优解。
针对这一成绩，蓝光芒教授开端设计随机优化办法处理非凸成绩。凭仗对非凸成绩的探究，蓝光芒教授取得了美国运筹与管理学会青年教员论文奖（INFORMS JFIG Paper Competition）一等奖，并取得国度自然迷信基金会出色新人奖。随后，团队又对减速非凸随机优化算法停止讨论与研讨。
关于随机梯度下降和减速随机梯度下降，用于处理随机凸和非凸优化成绩的注目效果，蓝光芒教授十分谦逊地表示，「我觉得本人比拟侥幸，由于我所做的任务具有一定前瞻性，但在宣布不久能和使用层面结合在一同，并获得较好的效果。」
蓝光芒教授通知雷锋网 AI 科技评论，作为学术界的研讨者，他总会思索这些成绩存在什么样的需求，又有怎样的扩展性。最近，蓝光芒教授正在两大范畴停止研讨探究。
首先是散布式、无中心化的随机优化算法。 以用户信息为例，三家企业各拥有同一用户的不同数据，但限于隐私的敏理性，各家企业的营收数据及相关信息自然不会「拱手相让」。但从另一个角度动手，三家企业反之可以结合起来树立一个更为完善的用户信誉模型。「无中心化数据处置的中心在于，企业不分享数据的详细内容，只分享信息。」这一任务据蓝光芒教授的引见，目前能到达与中心化数据处置异样的效果。
第二个研讨是， 如何在保证最优效果的前提下，尽量增加彼此传输信息的次数。 在无中心化的数据处置形态下，三者间的通讯速度很慢，且本钱绝对较高。「如何在保证最少化的沟通状况下增加沟通本钱？实际上我们可以证明信息传输次数相比起采集数据来说，本钱是可以疏忽不计的。」
此外，蓝光芒教授指出，优化模型在传统范畴上的使用也是不可小觑的存在。车辆调度、航班排期、任务排班，这些传统成绩的处理可以明显地看到直接效果，而且也在生活的各个方面影响人们的任务效率。传统使用范畴对机器学习的黑箱特性已经存疑，对运筹学仅凭仗公式推算出来的结论持保存态度。但后续，得益于大数据的驱动，零碎可以经过机器学习取得更多的参数，将其反映用在传统模型外面的一些决策模型外面，协助去做出最优化的决策，目前也逐渐失掉了传统行业的认可与信任。
在实际与理论的转化中，蓝光芒教授坦承，这个鸿沟还需求少量的探究。用建优化模型的办法求解详细某一个机器学习的义务，像做一个分类器判别股票涨还是跌，或是确定哪个方案更好。蓝光芒教授以为，不管是选择线性优化模型，还是二次优化模型，并不是一个非此即彼的选择。可以有多种评价规范，如从算法效率的角度，或是从模型使用能否方便的角度来看，或许从统计性质的角度等来判别。但如今在深度学习范畴，这方面的任务依然较少。「如何从算法或统计的角度去剖析详细成绩的特点，相关的任务暂时还是比拟匮乏；更多地，团队还是会从实际的角度、经历的角度去做判别。」
更重要的一点是，分类成绩在理想生活中具有着更多的复杂性。以风险控制为例，银行对用户的借贷请求做出相应的评审和判别，实质上也是综合了多方考量失掉的结论，在分类成绩上的规范绝对于学术界的研讨而言比拟模糊。蓝光芒教授所做的，还是希望找到更多人工智能可以协助人类提升效率的结合点，「将人工智能作为一种消费工具，把人类束缚出来。」
作为佐治亚理工学院的终身副教授，蓝光芒教授目前坚持和国际学术界与工业界的联络。他和斯坦福大学、上海财经大学、明尼苏达大学以及杉数科技迷信家团队在从事一个优化与机器学习开源求解器的开发任务。杉数科技是一家中国抢先的人工智能决策创业公司，由五位斯坦福教授及博士结合创建，外部推崇迷信家文明，效劳客户包括顺丰、滴滴、京东、万达、德邦、永辉等行业巨头公司，经过深层次数据优化算法和复杂决策模型的求解才能，聚焦海量数据下的复杂成绩，用智能决策重塑本钱端，协助国际企业迷信地进步决策程度。蓝光芒教授也和顺丰科技等企业停止科研方面的协作。
面对工业界与学术界的不同角色，蓝光芒教授通知雷锋网 (大众号：雷锋网) AI 科技评论，他与杉数科技等的协作次要有两个层面的播种。
首先是实际到理论转变中的成就感。 「本来在学术界的研讨只是一篇实际性的文章，但在落地的进程中，你会觉得到本人的研讨效果能够会变成产品，最初失掉更多的使用。」
第二点是从实践动身助力学术研讨。 在与企业协作的进程中，蓝光芒教授也在找寻随机优化办法在实践使用范畴中值得深化探究的方向。这些详细的成绩构成反应，蓝光芒教授也取得了更多的研讨启示。
面对目前工业界与学术界的融合和炽热，蓝光芒教授也面临全职「下海」的诸多引诱，但依然选择呆在学术界做科研。除了对知识传承、教书育人的由衷酷爱外，他以为科研最重要的是本人定义研讨的方向，这种方向能最大水平上地发掘本人的潜力。
「技术永远是一种知识积聚与创新的表现。」蓝光芒教授等待有更多的先生耐得住寂寞潜心科研，打好扎实的根本功，并在迷信的路途上越走越远。
。
