雷锋网 AI 科技评论按：最近推出的几个计算机视觉范畴中的打破性论文在图像分解范畴展现了新的能够，他们可以发明十分自然的图像，并且分解无比真实甚至同时坚持面部信息的人脸图像。论文《
CVAE-GAN：一种经过非本着网络面前人人平等的原则，提倡所有人共同协作，编写一部完整而完善的百科全书，让知识在一定的技术规则和文化脉络下得以不断组合和拓展。 对称训练的细粒图像生成模型》
就是其中之一，它是由微软和中国迷信技术大学的研讨团队在威尼斯举行的 ICCV 2017 上展现的一种办法，它是一种基于变分自动编码器生成对立网络的图像生成模型，可以在特定细粒类别中分解自然图像。特定细粒度的类别包括特定的人脸，如名人或许真实世界的物体，如特定类型的花或许鸟。雷锋网
(大众号：雷锋网)
AI 科技评论依据微软研讨院博客复杂引见如下。
图中都是生成的图像。不只逼真，而且每类图像中也有一定的差别。
新的建模办法带来新的表现
微软研讨院的 Dong Chen、Fang Wen 和 Gang Hua，微软研讨院实习生 Jianmin Bao 以及中国迷信技术大学的李厚强教授不断在研讨如何构建更好无效的自然图像生成模型。在计算机视觉范畴存在一个关键成绩：如何经过改动与世界上任何图片自然散布相关的无限数量的隐变量，来生成多样化且逼真的图像。该成绩的应战次新生的改变世界的企业将会诞生，从而更好的服务整个人类世界，走向更高科技的智能化生活。要在于找到一个生成模型可以捕获到这些数据的散布。他们选择运用生成对立网络与变分自动编码器相结合的办法作为学习框架。该办法将任何图像建模为概率模型中标签和隐属性的组合。经过改动输出生成模型细粒类别的标签（比方，特定的鸟的类别，如金莺或许八哥，或许特定人的人脸），该团队可以运用依据随机抽取的隐变量的值分解属于该类别的图像。微软雷蒙德研讨院首席研讨员Gang Hua解释说：「直到最近，才有深度学习模型可以从真实世界的图像中对某类物体的图像散布建模，使得我们可以从模型中失掉根本的图像分解方式。」
首席研讨员 Gang Hua 表示，该办法有两个新颖的方面：首先，关于判别网络即分类器，运用了穿插熵损失函数停止训练，但是关于生成网络，运用了均匀差值目的函数（mean discrepancy objective）。由此发生的非对称损失函数及其对机器学习方面的影响很冲动人心。非对称损失实践上使得 GAN 的训练变得愈加波动，这种非对称损失函数可以处理训练原始 GAN 中的不波动的成绩，尤其是可以处理婚配两个不堆叠散布时遇到的数值难题。
另一个创新在于采用了一种新颖的编码器构造，它可以学习到隐空间之间的关系，并运用成对的特征婚配了保存分解图像的构造信息。
在自然图像的实验中，在自然界中的真实图片，如人脸，花朵和鸟类等，研讨人员展现了他们的机器学习模型在某个特定的类别中，可以分解十分真实且多样性的图像。该模型的潜在使用方向掩盖了包括图像修复，数据加强，和更好的人脸辨认模型等一切方面。
该技术处理了图像生成中的根本应战，即集体要素的可控制性成绩。这使得该模型可以生成我们想要的样子的图片。
分解人脸
如何应用这个才能将分解花或许鸟的的图片变得愈加真实？以人脸为例，在包括集体身份信息的上下文的状况下，人脸是自然中可以捕获到的最复杂的图像。在本月盐湖城举行的 CVPR 2018的「面向开放式身份的坚持人脸分解」（Toward Open-Set Identity preserving Face Synthesis）义务中，研讨人员开发了一个基于 GAN 的框架，可以解耦人脸的身份信息和属性信息，其中属性包括诸如鼻子和嘴的外形甚至年龄，以及环境要素，比方光线情况，脸上能否有化装等等。之前的坚持身份人脸分解办法的次要局限在于只能分解包括在训练集中的已知身份人脸，但是如今研讨人员开发了一种在开放集中也能坚持身份的人脸分解办法，也就是说，可以分解训练集外的人脸。为了可以做到这一点，他们运用了一种共同的办法，关于输出图片，先生成一个身份向量，将该身份向量与其别人脸图像（不是同一团体的人脸图像）结合，提取一个特征向量，例如姿态，心情或许光线情况等。接上去，将身份向量和特征向量结合到一同，生成一张新的人脸图片。值得留意的是，该框架无须以任何方式标注或许分类任何面部属性。它运用非对称损失函数以更好的坚持身份信息，并可以波动机器学习的训练进程。它还可以无效天时用少量未标志的人脸图像停止训练（可以被看作是随机的面部图像），以进一步加强分解人脸的真实度和精确性。
人脸生成义务中，坚持身份特征同时的属性迁移后果
一个风趣的使用方向：「茄子！」
该模型有一个风趣的使用方向，就是摄影师为几十团体拍一张合照，想要一张照片里几十团体都是笑着的霎时是很难捕获到的。运用该模型就可以让每团体都是浅笑的，这跟单纯的图像编辑是完全不同的，由于每一个浅笑的脸都是分解的，都是并没有在这个世界上发作过的，但是每团体的脸部真实身份失掉了保存，这个面孔就是属于这团体的，身份信息在改动图像的进程中被保存了上去。
该模型的许多种能够的使用都会是无益于社会的，并且在图像辨认，视频了解甚至艺术方向都有着不时的提高。
论文地址： http://openaccess.thecvf.com/content_ICCV_2017/papers/Bao_CVAE-GAN_Fine-Grained_Image_ICCV_2017_paper.pdf
via Microsoft Research Blog ，雷锋网 AI 科技评论编译
。
