大众号：机器之心
选自mit.edu
作者：Tom Silver
机器之心编译
随着人工智能技术的炽热，越来越多的年老学者正预备投身其中，开启本人的研讨之路。和一切其他学科一样，人工智能范畴的新人总会遇到各种各样的难题，其中不只有研讨上的，也有生活方面的。MIT EECS 在读博士、前 Vicarious AI 员工 Tom Silver 近日的一篇文章或许对你有所协助。
我的一个冤家最近正要开端人工智能的研讨，他问及我在 AI 范畴近两年的研讨中有哪些经历经验。本文就将引见这两年来我所学到的经历。其内容涵盖日常生活到 AI 范畴中的一些小技巧，希望这可以给你带来一些启示。
开端
找到一个你觉得适宜的人讯问「傻成绩」
最后，我十分惧怕本人的同事，羞于向人发问，由于这能够会使我看起来十分缺乏根底知识。我花了好几个月才顺应了环境，开端向同事发问，但一开端我的成绩依然十分慎重。不过如今，我已有三四个关系较好的人了，我真希望事先能早点找到他们！我已经吞没在谷歌搜索的条目中。如今，当我遇到一个成绩后会直接讯问别人，而不是本人想方法，最终堕入困惑。
在不同的中央寻觅研讨灵感
决议做哪些任务是研讨进程中最困难的一局部。对此，研讨人员曾经存在一些普通性的战略：
与不同范畴的研讨者交谈。问问他们关于哪些成绩感兴味，并试图用计算机专业的言语重述这些成绩。讯问他们能否有想要停止剖析的数据集，哪些现有技术是处理成绩的瓶颈。机器学习中很多最具影响力的任务都是计算机迷信与生物/化学/物理学、社会迷信或许纯数学之间的碰撞。例如 Matthew Johnson 等人在 NIPS 2016 的论文《Composing graphical models with neural networks for structured representations and fast inference》是遭到一个小鼠行为数据集启示的后果；Justin Gilmer 等人在 ICML 2017 上的论文《Neural Message Passing for Quantum Chemistry》使用于量子化学。
编写一个复杂的基线来取得对成绩的感受。例如，尝试编写一个有关控制倒立摆的详细校准代码（https://gym.openai.com/envs/Pendulum-v0/），或许试着看看能不能在自然言语数据集上推送一个词袋模型。我在编写基线时常常会遇到无法意料的状况——我的想法或代码里都有能够呈现错误。在基线运转时，我通常会对成绩有更深的了解，并发生出很多新的想法。
扩展你喜欢的论文的实验局部。细心阅读办法与后果，尝试找到成绩的关键。首先尝试最复杂的扩展，问问本人：论文中的办法能否适用，考虑一下文中没有讨论的基线办法，以及它们能够会失败的缘由。
投资可视化工具和技艺
在编写研讨代码时我采用的战略是从创立可视化脚本动手。在编写完其他代码后，我会运转可视化脚本，以疾速验证代码能否与我的心智模型婚配。更重要的是，良好的可视化常常会使我想法或代码中的 bug 愈加分明、明了。这里还有一些自我鼓励的话要说：当我完成这个代码时，我会做一份美丽的数据或视频给大家看！
为手头的成绩寻觅适宜的可视化办法能够十分顺手。假如要迭代优化模型（例如深度学习），从绘制损失函数曲线着手会比拟好。此外还有许多用于可视化和解释神经网络（特别是卷积神经网络）学得权重的技术，例如导向反向传达。在强化学习和规划中，智能体在其环境中的行为是不言而喻的，无论是雅达利游戏、机器人义务还是复杂的 grid world（如 OpenAI Gym 中的环境）。依据设置，还可以可视化价值函数及其在训练进程中的变化（如下所示），或许可视化探究形态树。在处置图形模型进程中，当一维或二维变量在推断进程中发作变化时，对其散布停止可视化可以取得丰厚的信息（如下所示）。估量每次可视化剖析时必需在头脑中保管的信息量可以协助检测可视化技术的无效性。假如可视化技术十分蹩脚，你需求详尽地调用你编写的代码来生成它；反之，一个良好的可视化技术可以带来一个分明的结论。
Tensorboard 是可视化 TensorFlow 深度学习模型的常用 GUI。
随着数据的积聚绘制散布图可以大大降低 debug 图形模型的难度（来自 Wikimedia）。
用 Q-learning 学习的价值函数可以在它所表示的 grid world 上可视化（作者：Andy Zeng）。
确定研讨人员和论文的根本动机
在相反的会议上宣布文章、运用相反的技术术语、自称研讨范畴是人工智能的研讨人员能够有截然相反的研讨动机。一些人甚至建议为这个范畴取不同的名字，以廓清成绩（就像 Michael Jordan 在最近一篇优秀的博客文章中提到的那样）。他们的动机至多可分为三类：「数学」、「工程」和「认知」。
「数学」动机：智能零碎有何根本属性和局限性？
「工程」动机：如何开发可以更好地处理实践成绩的智能零碎？
「认知」动机：怎样才干模拟人类和其他植物的自然智能？
这些动机可以调和共存，许多人工智能范畴的风趣论文都是从多个角度动身。此外，单个研讨人员的研讨动机往往并不单一，这聚焦消费升级、多维视频、家庭场景、数字营销、新零售等创新领域，为用户提供更多元、更前沿、更贴心的产品，满足用户日益多样化、个性化的需求。有助于完成人工智能范畴的聚合。
但是，动机也能够并不分歧。我有一些冤家和同事，他们有分明的「工程」倾向，还有一些次要对「生物学」感兴味。一篇论文标明，现有技术的巧妙结合足以在基准上逾越现有技术程度，这将激起工程师们的兴味，但认知迷信家能够对此不感兴味，甚至五体投地。但假如一篇论文阐释了生物可解释性（biological plausibility）或认知联络，这篇论文收到的反响能够截然相反，即便其结论只是实际性的或后果十分不起眼。
优秀的论文和研讨人员在一开端就会阐明他们的动机，但基本动机往往藏地很深。我发如今动机不分明的状况下，对论文停止各个击破将会很有协助。
从科研社区中吸取养分
找论文
AI 范畴的论文可以在 arXiv 上找到和发布。如今的论文数量十分令人振奋。社区中的许多人降低了从噪声中分辨出信号的难度。Andrej Karpathy 开发了 arXiv sanity preserver，协助分类、搜索和过滤特征。Miles Brundage 每晚都在推特上发布本人整理的 arXiv 论文列表。很多推特用户经常分享风趣的参考文章，我引荐大家在推特上关注本人喜欢的研讨者。假如你喜欢用 Reddit，那么 r/MachineLearning（https://www.reddit.com/r/MachineLearning/）十分棒，不过文章更合适机器学习从业者而不是学界研讨者。Jack Clark 发布每周社区 newsletter「import AI (https://jack-clark.net/)」，Denny Britz 发布「The Wild Week in AI (https://www.getrevue.co/profile/wildml)」。
检查会谈论文集也很值得。三大会议是 NIPS、ICML、ICLR。其他会议还包括 AAAI、IJCAI、UAI。每个分支学科也有本人的会议。计算机视觉方面有 CVPR、ECCV、ICCV；自然言语方面，有 ACL、EMNLP、NAACL；机器人方面，有 CoRL（学习）、ICAPS（规划，包括但不限于机器人）、ICRA、IROS、RSS；关于更实际性的研讨，有 AISTATS、COLT、KDD。会议是目前论文宣布的次要渠道，但是也有一些期刊。JAIR 和 JMLR 是该范畴最凶猛的两种期刊。偶然一些论文也会呈现在迷信期刊上，如 Nature 和 Science。
寻觅旧的论文异样重要，不过通常更难。那些「经典」论文通常呈现在参考文献中，或许研讨生课程的阅读书单。发现旧论文的另一种方式是从该范畴的资深教授开端，寻觅他们的晚期作品，即他们的研讨途径。异样也可以向这些教授发送邮件讯问额定的参考（即便他们太忙没有回复也不要介意）。寻觅不那么有名或被无视的旧论文的一种继续方式是在 Google scholar 中搜索关键词。
应该破费多长工夫阅读论文？
关于阅读论文应该用的工夫我听到过两种罕见建议。一，刚开端的时分，阅读一切论文！人们通常说研讨生的第一学期或第一年应该只阅读论文。第二，在最后的上升期之后，不要破费太多工夫阅读论文！缘由在于假如研讨者不被之前的办法左右，更有能够发明性地提出和处理成绩。
我团体赞同第一条建议，不赞同第二条。我以为一团体应该尽能够多地阅读论文。「假如我不熟习他人尝试过的办法，那我就能更好地想出新颖的更好办法。」——这种想法似乎不太能够，且高傲。是的，新视角能够是一把钥匙，专业者处理临时应战是由于他们超出惯例的想法。但是职业研讨者不能完全依赖运气来探究未被思索过的处理方案。我们的大局部工夫都用来迟缓且无方法地逐渐处理成绩。阅读相关论文是找出我们所处地位和下一步尝试方向的更高效方式。
关于尽能够多地阅读论文，有一个重要的留意事项：消化论文内容和阅读论文一样重要。用一地利间学习几篇论文、仔细做笔记、仔细考虑每一篇的内容和思绪，比不时阅读论文要好一些。尽能够多地阅读论文。
对话 >> 视频 > 论文 > 会议演讲
论文相对是理解生疏研讨思绪的最易获取的资源。但是最高效的途径是什么呢？不同人的答案或许也不同。我以为，对话（和曾经了解该思绪的人对话）是目前最快、最无效的途径。假如这种办法不可行，那么相关视频也会提供很好的见地，比方论文作者受邀停止演讲。当演讲者面对的是现场观众时，他们能够更侧重明晰性而不是精确度。而在论文写作中，这种侧重是相反的，字数统计是关键，背景解释能够被当作作者不熟习该范畴的证据。最初，冗长的会议演讲通常更正式，而不是适宜的教育时机。当然，演讲完毕后与演讲者停止对话交流是十分有价值的。
小心炒作
成功的人工智能研讨总会惹起大众的关注，让更多的人进入这一范畴，从而引出更多成功的 AI 研讨。这一正循环在大局部状况下都是适用的，但其也有一个反作用就是炒作效应。新闻编辑总是希望取得更多点击率，科技公司则希望取得投资者的喜爱，并多多招募新人，而研讨者们往往会追求高援用量和更高质量的宣布。在看到一篇文章或论文的标题时，请务必留意这些成绩。
在 NIPS 2017 的一个论文讨论活动中，数百名听众目击了一位有名望的教授拿着麦克风（「我谨代表炒作警察」）劝说作者不要把单词「imagination」用在论文标题中。我关于这种大众对立总是有着复杂的感受，而且我还恰恰喜欢这篇论文。但这并不意味着我无法了解这位教授的挫败感。人工智能研讨中最罕见，最令人讨厌的宣传表现之一，就是用新术语重新命名旧概念。所以，小心那些盛行语——次要依据实验及其后果来判别一篇论文。
开端科研马拉松
树立可权衡的停顿目的
之前搜索研讨项目时，我破费了少量工夫停止头脑风暴。那时对我来说，头脑风暴就是把脑袋搁在桌子上，希望一些模糊的直觉可以变成详细的见地。完毕了一天的「头脑风暴」，我经常觉得疲惫、心灰意懒。这是科研吗？我很疑惑。
当然，没有导向科研停顿的良方，在黑暗中瞎撞是（大局部）停顿的一局部。但是，如今我发现树立一个可权衡的目的，然后方案任务，愈加容易且易于完成。假如我不晓得接上去要做什么，那么目的可以是：写下一个模糊的想法，但要尽能够详细；假如在写的进程中，觉得这个想法不好，那就写出扫除该想法的理由（而不是完全废弃这个想法，这样就得到了对停顿的权衡）。在没有任何想法的时分，我们可以用读论文或与同事交流的方式获得停顿。一天完毕时，我的任务有了一些实真实在的东西。即便这些想法永远不会用到，但是我的斗志失掉提升，也不再担忧当前会在相反的想法上糜费工夫。
学会判别死胡同，并退回来
弱小的研讨者破费更多工夫在好的想法上，由于他们在蹩脚想法上所用的工夫较少。可以辨认好想法和坏想法似乎很大水平上是经历成绩。但是，任何程度的研讨者都会常常遇到上面的决策成绩。我的研讨思绪有缺陷或无法发生结论，我应该尝试 A）持续援近一年来，国家加大了对于互联网金融的管理力度，各种管理政策不断出台，不少业内人士对于互联网金融都保持着谨慎看好的态度，但是安方丹却保持了乐观的态度，她认为，互联网金融行业在当前是“风口上的大象”，技术正是这股风的原动力。救或支持这个思绪，还是 B）完全丢弃这个思绪呢？我团体十分懊悔在本应该做 B）时却把工夫糜费在 A）上。尤其是之前，我曾屡次陷在死胡同中，而且工夫很长。我之所以不情愿分开很大水平上是由于漂浮本钱误区：假如我加入这个「死胡同」，那我曾经破费的工夫不就白白糜费了吗？
如今当我分开研讨死胡同时还是会感到一些绝望。不过我如今尝试使本人认识到前进也是一种提高。本钱破费得值，不算漂浮。假如我明天没有探究死胡同，那我能够今天还会遇到。死胡同并不是起点，它们是科研生活的一局部。希望我能坚持这种想法，假如不能，还有费曼的名言呢：我们尝试尽快证明本人是错误的，只要这样我们才干提高。（We are trying to prove ourselves wrong as quickly as possible, because only in that way can we find progress.）
写！
我已经偶尔征询过一位出色的 AI 研讨者晚期职业生涯忠告。他的建议十分复杂：写！写博客和论文，以及更重要的，写下一天当中本人的想法。我开端留意到积极地写下想法与只是想想带来的分明差异。
身心安康是科研的先决条件
有一种错误的观念以为科研任务者都是废寝忘食，二心追随迷信发现。我之前以此为基准，经常为无法做到而感到内疚。如今我晓得锤炼和肉体抓紧是投资，而不是搅扰。假如我每天睡 8 小时，任务 4 小时，我的效率比睡 4 小时、任务 8 小时要高得多，也就是说没有形成不好的影响。
在处理一个困难的成绩时中途中止是十分困难的。我依然会不断研讨一个成绩，即便曾经十分累了，即便没有停顿也不休息。当停上去深呼吸时，我会十分快乐。我希望在科研生涯的下一个阶段可以持续内化这件事。
原文链接：http://web.mit.edu/tslvr/www/lessons_two_years.html