雷锋网 AI 科技评论按：人类对各种深度学习模型最罕见的不满之一就是难以解释、无法 互联网电子商务和移动商务消费渠道的普及，使得支付市场将在不久的将来继续呈现更加美好的增长前景。了解 ，即使可以检查训练好的网络的每个衔接的权重，也说不清网络应用的数据形式是哪些，以及网络目前的运转情况里有哪些成绩。

不过，人类从不疑心本人可以 了解 另一团体类：我们可以经过各种办法理解并描绘他人的诉求、观念和当下的想法，可以揣测他人晓得哪些信息，可以猜想他人的将来举动，我们同时也就以此为根底思索如何和他人互动。其实绝大少数状况下我们都不会尝试重建他人的脑神经构造，不会尝试估量他人的脑神经元的活动情况如何、前额叶的衔接性如何、海马体的任务情况如何。这时分我们所谈的 了解 ，就是对他人的心思情况的高层次笼统，不再尝试描绘细碎的外部运转机理。这种注重于预测和方案了解才能被称为「 心智实际 Theory of Mind 」。（雷锋网 AI 科技评论注：心智实际，心思学术语，是一种可以了解本人以及四周人类的心思形态的才能，这些心思形态包括心情、信仰、意图、愿望、伪装与知识等）

在近期新宣布的论文《 Machine Theory of Mind 》中，DeepMind 就以 心智实际 的视角重新研讨了如何了解另一个模型的成绩。他们的目的是让环境中的察看者在无限的数据下自动学习如何对新遇到的智能体建模——不是尝试学出一个模拟的算法，而是学习如何 像人了解人一样地 预测另一个智能体的行为，甚至发现别的智能体的观念和实践环境情况之间的矛盾。他们把这种新实际称为「Machine Theory of Mind」（机器心智实际），为此树立的模型称为 ToMnet。在 DeepMind 的研讨人员们看来，这还可以是一种新的改良深度学习的可解释性的办法，可以不必再像以往那样尝试设计能表述本人内在形态的零碎，而是作为新的直达零碎、人机接口，减少原零碎的行为空间大小，把难以了解的神经网络以人类好了解的方式转述出来。

DeepMind 的研讨人员们把这个机器心智实际成绩方式化为一个元学习成绩，让察看者智能体学习如何在环境中遇到一个新智能体之后搜集数据对它停止建模，理解它的隐含特点和心思形态，从而更好地预测它的将来行为。

这个察看者要学习的内容也需求分为两个层次，一个层次是基于网络学习到的权重的总体实际，它是对训练集中一切智能体的共有行为的隐式描绘；另一个层次是在测试阶段察看单个智能体，尝试描绘它独有的特征和心思形态。而这两个层次也就辨别构成了对智能体行为的先验和后验判别。

ToMnet 架构：character net 从一组局部可察看的马尔可夫决策进程（POMDP）中解析一个智能体的过往举动轨迹，构成特征嵌入 e _char ；mental state net 依据智能体以后的行为解析出它以后的心思形态嵌入 e _mental 。这些嵌入会作为 prediction net 的输出，它查询以后形态之后构成对将来预测的三个输入：下一步举动的能够性
，某个对象能否会被运用掉的能够性
，以及预测的后续的表征
。

在论文中，DeepMind 的研讨人员们围绕提出的 ToMnet 停止了一系列难度递增的实验，逐渐引见 ToMnet 的设计思绪、展现它的使用典型的人类心思实际技巧对其它各种各样的模型建模的才能。

• 关于复杂、随机的智能体，ToMnet 可以学到对智能体特点的最优层次化贝叶斯推理的近似；

• 关于基于算法的智能体，ToMnet 可以经过小样本反向强化学习找到它们的目的，以及了解它们如何在本钱和反应中找到均衡；

• ToMnet 可以找到成群的强化学习智能体之间的多种变量的关键值，从而把它们分为不同的类别，并给智能体生成笼统嵌入。ToMnet 也可以给行为空间生成新的笼统；

• 用局部可察看马尔可夫决策进程中的深度强化学习智能体训练的 ToMnet 可以隐式地发现这些智能体持有的对环境的错误观念，而这正是人类的心思实际中的重要局部；

• ToMnet 还可以训练用于预测别的智能体的观念形态，显式地揭显露别的智能体的错误观念。DeepMind 的研讨人员们还标明 ToMnet 仅仅依据别的智能体的行为就可以可以推知它们察看到了哪些东西、接上去会倾向于置信什么。

带有子义务的环境，其中的智能体能够会抱有对环境的错误看法。

• 图 (a) ：智能体寻觅子目的（星星）的轨迹（白色箭头）。智能体只能察看到环境的一局部：深灰色的区域还没有察看到，浅灰色的区域之前察看过，但在取得子目的之后就察看不到了。

• 图 (b)：当智能体取得子目的后，一切其它的物体有一个很小的能够性会立刻交流地位。(b) 左：交流发作在智能体视野之内；(b) 右：交流发作在智能体视野之外

• 图 (c)：交流地位对智能体紧接着的战略发生的影响

• 图 (d)：交流地位对智能体的经历后续表征发生的影响

DeepMind 的这一系列实验内容还比拟复杂，次要为了展现这样的零碎的次要思绪和才能。要拓展它的才能和范畴、与人类共同评选还有很长的路要走。不过，这种思绪关于人类这样依赖社交性考虑的人物的确有着重要意义。

将来 DeepMind 计划在其中持续添加 ToMnet 需求做出的预测的数量、在建模其它智能体的行为进程中参加细微的总结偏倚，以及如何依据本人的经历和看法把本人的模型通知别的智能体。这些都是能够的多智能体协作研讨中的重要课题。

另外值得一提的是，ICLR 2017 最佳论文奖得主之一的张驰原也是这篇论文的作者之一。

论文地址： https://arxiv.org/abs/1802.07740

雷锋网 (大众号：雷锋网) AI 科技评论编译

相关文章：

回到当下汹涌澎湃的AI浪潮，正如所有的企业都被互联网化一样，所有的互联网企业都将 AI 化。而这些互联网企业中，也包含CSDN。同时，作为全球最大的中文IT社区，CSDN还有一个历史使命——为广大的互联网公司进行AI赋能。 DeepMind 推出散布式训练框架 IMPALA，开启智能体训练新时代

DeepMind 持续投资阿尔伯塔大学，设立赞助主席并资助研讨经费

既要深度学习又要符号化推理，DeepMind 新 JAIR 论文小试牛刀

DeepMind 开源虚拟实验室 Psychlab，应用认知心思学对智能体停止研讨

雷锋网版权文章，未经受权制止转载。概况见。