农企新闻网

AAAI 2018,腾讯AI Lab 11篇录用论文全解读

发布者:陈俊一
导读雷锋网 AI 科技评论按:2 月 2 日至 2 月 7 日,AAAI 2018 将在美国新奥尔良举行,雷锋网AI 科技评论也将到现场停止一线报道。在本次大会上,腾讯 AI Lab 有 11 篇论文被录用,论文录用名单及摘要解读如下:1  学惯用于图像描绘的引导解码(Learning to Guide Decoding for Image Captioning)图像描绘范畴近来获得了很多停顿,而且曾

雷锋网 AI 科技评论按:2 月 2 日至 2 月 7 日,AAAI 2018 将在美国新奥尔良举行,雷锋网AI 科技评论也将到现场停止一线报道。

在本次大会上,腾讯 AI Lab 有 11 篇论文被录用,论文录用名单及摘要解读如下:

1  学惯用于图像描绘的引导解码(Learning to Guide Decoding for Image Captioning)

图像描绘范畴近来获得了很多停顿,而且曾经有一种编码器-解码器框架在这一义务上失掉了出色的表现。在本论文中,我们提出了一种编码器-解码器框架的扩展——添加了一个名叫引导网络(guiding network)的组件。这种引导网络会建模输出图像的属性特性,其输入会被用于组成解码器在每个工夫步骤的输出。这种引导网络可以拔出到以后的编码器-解码器框架中,并且可以以一种端到端的方式训练。因而,该引导向量可以依据来自解码器的信号而自顺应地学习失掉,使其本身中嵌入来自图像和言语两方面的信息。此外,还能运用判别式监视来进一步提升引导的质量。我们经过在 MS COCO 数据集上的实验验证了我们提出的办法的优势。

2  发现和区分多义词的多个视觉含义(Discovering and Distinguishing Multiple Visual Senses for Polysemous Words)

bmc.uestc.edu.cn/~fshen/AAAI18.pdf

为了增加对有标签数据的依赖,应用网络图像学习视觉分类器的研讨任务不断在不时增多。限制他们的表现的一个成绩是多义词成绩。为理解决这个成绩,我们在本论文中提出了一种全新的框架——该框架可经过允许搜索后果中特定于含义的多样性来处理该成绩。详细而言,我们先发现一个用于检索特定于含义的图像的能够语义含义列表。然后,我们运用检索到的图像来兼并视觉上类似的含义并剪枝掉噪声。最初,我们为每个被选中的语义含义训练一个视觉分类器并运用学习到的特定于含义的分类器来区分多个视觉含义。我们在按含义给图像分类和重新排序搜索后果上停止了少量实验,后果标明了我们提出的办法的优越性。

3  运用波动化Barzilai-Borwein 步长的随机非凸序数嵌入(Stochastic Non-convex Ordinal Embedding with Stabilized Barzilai-Borwein Step Size)

https://arxiv.org/abs/1711.06446

依据绝对类似度比拟来学习表征的办法通常被称为序数嵌入(ordinal embedding),该办法在近些年失掉了越来越多的关注。大少数已有的办法都是次要基于凸优化而设计的批处置办法,比方投影梯度下降法(projected gradient descent method)。但是,由于更新进程中通常采用了奇特值分解(SVD),所以这些办法往往十分耗时,尤其是当数据量十分大时。为了克制这一难题,我们提出了一种名叫 SVRG-SBB 的随机算法,该算法有以下特性:

  • (a)经过丢弃凸性而不再需求 SVD,而且经过运用随机算法(即方差缩减随机梯度算法(SVRG))而完成了优秀的扩展功能;

  • (b)引入一种新的具有自顺应的步长选择的波动化 Barzilai-Borwein(SBB)办法,由于凸成绩的原始版本能够无法用于所思索的随机非凸优化成绩。

此外,研讨标明我们提出的算法能在我们的设置中以的速度收敛到一个波动解,其中 T是总迭代次数。我们还停止了许多模仿和真实数据实验,并经过与以后最佳办法的比拟而证明了我们提出的算法的无效性;尤其值得一提的是我们的算法运用远远更低的计算本钱也能完成优秀的预测表现。

4  降秩线性静态零碎(Reduced-Rank Linear Dynamical Systems)

线性静态零碎(LDS)在研讨多变量工夫序列的根本形式方面有普遍的使用。这些模型的一个根本假定是高维工夫序列可以运用一些根本的、低维的和随工夫变化的隐含形态来表征。但是,已有的 LDS 建模办法根本上是学习一个规则了维数的隐含空间。当处置长度较短的高维工夫序列数据时,这样的模型会很容易过拟合。我们提出了降秩线性静态零碎(RRLDS),可以在模型学习进程中自动检索隐含空间的固有维数。

我们察看到的关键是 LDS 的静态矩阵的秩中包括了固有的维数信息,而运用降秩正则化的变分推理最终会失掉一个简明的、构造化的且可解释的隐含空间。为了让我们的办法能处置有计数值的数据,我们引入了团圆性自顺应散布(dispersion-adaptive distribution)来顺应这些数据自身具有的过团圆性/等团圆性/欠团圆性。在模仿数据和实验数据上的后果标明我们的模型可以稳健地从长度较短的、有噪声的、有计数值的数据中学习隐含空间,并且还明显逾越了以后最佳的办法的预测表现。

5  运用重构模型翻译代词零落言语(Translating Pro-Drop Languages with Reconstruction Models)

在汉语等代词零落言语(pro-drop language)中,代词常会被省略,这通常对翻译后果的完好性形成极大的不良影响。到目前为止,很少有研讨关注神经网络机器翻译(NMT)中的代词零落(DP)成绩*。在这项研讨中,我们提出了一种全新的基于重构的办法,用于缓解NMT 模型中代词零落所惹起的翻译成绩。首先,应用双语语料库中提取的对齐信息,将一切源句子中零落的代词停止自动标注。然后,再使NMT模型中的隐藏层的表示重构回被标注的源句子。运用重构分数来辅佐训练目的,用于鼓舞隐藏层表征尽能够地嵌入标注的DP信息,从而引导与该NMT模型相关的参数来发生加强的隐藏层表征。我们在汉语-英语和日语-英语对话翻译义务上停止实验,后果标明本办法明显地、继续地超越了弱小的NMT基准零碎,该基准零碎直接树立在标注了DP的训练数据上。

注:论文第一作者 王龙跃的微博 将 dropped pronoun (DP) problem 称为代词缺失成绩。但中文言语学的文献将其称为代词零落成绩,比方  http://www.nssd.org/articles/article_detail.aspx?id=1002125785 。为了与 Pro-Drop Language 术语一致,这里运用后者。

6  改良序列到序列的成分句法剖析(Improving Sequence-to-Sequence Constituency Parsing)

序列到序列的成分句法剖析,经过自上而下的树线性化(tree linearization),将构造预测转化成普通的序列到序列的成绩来处置,因而它可以很容易天时用散布式设备停止并行训练。这种模型依赖于一种概率留意机制,虽然这种机制在普通的序列到序列成绩获得了成功,但在句法剖析特定场景中它无法保证选择充沛的上下文信息。之前的研讨任务引入了一种确定性留意(deterministic attention)机制来为序列到序列的句法剖析选择有信息量的上下文,但这种办法只能适用于自下而上的线性化,而且研讨者也曾经察看到:对规范的序列到序列的成分句法剖析而言,自上而下的线性化优于自下而上的线性化。在这篇论文中,我们对该确定性留意力机制停止了拓展,使其可以适用于自上而下的树线性化。我们停止了少量实验,后果标明我们的句法剖析器相比于自下而上的线性化获得了明显的精确度提升;在不运用重排序(reranking)或半监视训练的状况下,我们的办法在规范的英文PTB 和 中文CTB数据集上辨别到达了92.3 和 85.4 Fscore。

7  用于众包配对排名聚合的运用信息最大化的 HodgeRank(HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation)

https://arxiv.org/abs/1711.05957

众包近来曾经成为了许多范畴处理需求人力的大规模成绩的无效范式。但是,义务发布者通常预算无限,因而有必要运用一种明智的预算分配战略以取得更好的质量。在这篇论文中,我们在 HodgeRank 框架中研讨了用于自动采样战略的信息最大化原理;其中 HodgeRank 这种办法基于多个众包工人(worker)的配对排名数据的霍奇分解(Hodge Decomposition)。该原理给出了两种自动采样状况:费希尔信息最大化(Fisher information maximization)和贝叶斯信息最大化(Bayesian information maximization)。其中费希尔信息最大化可以在无需思索标签的状况下基于图的代数衔接性(graph algebraic connectivity)的序列最大化而完成无监视式采样;贝叶斯信息最大化则可以选择从先验到后验的进程有最大信息增益的样本,这能完成应用所搜集标签的监视式采样。实验标明,相比于传统的采样方案,我们提出的办法能进步采样效率,因而对实践的众包实验而言是有价值的。

8  自顺应图卷积神经网络(Adaptive Graph Convolutional Neural Networks)

图卷积神经网络(Graph CNN)是经典 CNN 的办法,可用于处置分子数据、点云和社交网络等图数据。Graph CNN 范畴以后的过滤器是为固定的和共享的图构造构建的。但是,关于大少数真实数据而言,图构造的规模和衔接性都会改动。本论文提出了一种有泛化才能的且灵敏的Graph CNN,其可以运用恣意图构造的数据作为输出。经过这种方式,可以在训练时为每个图数据都学习到一个义务驱动的自顺应图。为了无效地学习这种图,我们提出了一种间隔度量学习。我们在九个图构造数据集上停止了少量实验,后果标明我们的办法在收敛速度和预测精确度方面都有更优的表现。

9  多维长时数据的隐含稀疏模型(Latent Sparse Modeling of Longitudinal Multi-dimensional Data)

http://www.engr.uconn.edu/~jinbo/doc/AAAI_18_v5.pdf

我们提出了一种基于张量的模型,可用于对由多样本描绘单个对象的多维数据停止剖析。该模型能同时发现特征中的形式以及提醒会影响到以后后果的过来工夫点上的数据。其模型系数,一个 k-模的张量,可分解为 k 个维数相反的张量的总和。为了完成特征选择,我们引入了张量的“隐含F-1模”作为我们的公式中的分组惩罚项。此外,经过开发一个基于张量的二次推断函数(quadratic inference function, QIF),我们提出的模型还能思索到每个对象的一切相关样本的外部关联性。我们提供了当样本量趋近于无量大时对模型的渐进剖析(asymptotic analysis)。为理解决对应的优化成绩,我们开发了一种线性化的块坐标下降算法(linearized block coordinate descent algorithm),并证明了其在样本量固定时的收敛性。在分解数据集以及真实数据集:功用性磁共振成像( fMRI) 和 脑电图(EEG) 上的计算后果标明我们提出的办法比已有的技术有更优的表现。

10 运用用户-物品结合自回归模型的协同过滤(Collaborative Filtering with User-Item Co-Autoregressive Models

https://arxiv.org/abs/1612.07146

深度神经网络曾经表现出了在协同过滤(CF)方面的潜力。但是,已有的神经办法要么是基于用户的,要么就是基于项目的,这不能明白天时用一切的隐含信息。我们提出了 CF-UIcA,这是一种用于 CF 义务的神经结合自回归模型,其应用了用户和物品两个域中的构造相关性。这种结合自回归允许为不同的义务集成其它额定的所需特征。此外,我们还开发了一个无效的随机学习算法来处置大规模数据集。我们在 MovieLens 1M 和 Netflix 这两个盛行的基准上对 CF-UIcA 停止了评价,并且在评级预测和引荐最佳 N 项的义务上都完成了以后最佳的表现,这证明了 CF-UIcA 的无效性。

11 EAD:经过对立样本完成对深度神经网络的弹性网络攻击(EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples)

https://arxiv.org/abs/1709.04114

近来的一些研讨曾经突出阐明了深度神经网络(DNN)面对对立样本时的软弱性——我们可以轻松发明出在视觉上难以区分,却能让经过良好训练的模型分类错误的对立图像。已有的对立样本发明办法是基于 L2 和 L∞ 失真度量的。但是,虽然现实上 L1 失真就能阐明全体的变化状况且鼓舞稀疏的扰动,但在发明基于 L1 的对立样本上的开展则很少。

在本论文中,我们将运用对立样本攻击 DNN 的进程方式化为了运用弹性网络正则化的优化成绩。我们对 DNN 的弹性网络攻击(EAD)运用了面向 L1 的对立样本,并且还包括了以后最佳的 L2 攻击作为特例。在 MNIST、CIFAR10 和 ImageNet 上的实验后果标明 EAD 可以失掉一组明白的具有很小 L1 失真的对立样本,并且能在不同攻击场景中完成与以后最佳办法近似的攻击表现。更重要的是,EAD 能改善攻击可迁移性以及帮补 DNN 的对立训练,这为在对立机器学习中应用 L1 失真以及 DNN 的平安意义提供了全新的见地。

假如,您是……

  • 高校的教师 or 先生,希望录用论文能失掉更多对外展现和交流的时机;

  • 身处企业的研讨员,希望能借助学术会议零碎地对外引见企业的研讨任务,或是在海内学术会议上与媒体停止深度协作;

以雷锋网 (大众号:雷锋网) 官网为基准,自媒体平台、AI科技评论微信平台、慕课学院线上直播平台、培训相关课程、社区效劳、线下直播支持……您能想失掉的一切传达方式,我们都能尽力为您提供。

如有兴味,欢送关注AI科技评论(aitechtalk),在大众号底部的“关于我们”对号入座选择相应的类目,我们将有专员与您停止深化沟通。

雷锋网版权文章,未经受权制止转载。概况见。

AAAI 2018,腾讯AI Lab 11篇录用论文全解读