大众号/将门创投
整理 ：T.R 来源 ：arxiv
随着智能手机的迅速开展，挪动端的人脸辨认和剖析越来越重要，而 人脸追踪 是很多视觉使用的次要动身点。在挪动场景下的挪动追踪面临着光照、尺度、角度的猛烈变化和环境背景、遮挡以及目的的消逝等应战。人脸追踪非常重要但由于适宜数据集的缺乏使得这一范畴收到的关注较少。
为了协助挪动端人脸追踪算法的开发和评测，帝国理工智能行为了解研讨组（iBUG）提出了一个名为iBUG MobiFace benchmark的数据库。最为第一个挪动端的人脸追踪基准，包括了50段智能手机在不受限环境下拍摄的影像、其中包括46个集体和50736帧。除了边框标志之外，还提供了9个序列属性标注。
研讨人员还针对相关滤波和深度学习聚焦消费升级、多维视频、家庭场景、数字营销、新零售等创新领域，为用户提供更多元、更前沿、更贴心的产品，满足用户日益多样化、个性化的需求。两小气法、23种前沿算法停止了评测。作者表示数据集将在近日发布在iBUG的网站上。
（编者注：iBUG网站上还有其他丰厚的人类行为数据库，包括3D人脸追踪、人体姿势标注等等数据库感兴味的小同伴可以参看：https://ibug.doc.ic.ac.uk/resources）
1. 挪动端人脸追踪
人脸追踪是指在视频中定位随工夫变化的目的人脸。智能手机和挪动设备的高速开展使得人脸追踪算法扮演着越来越重要作用，从人脸解锁到相机使用，从人脸辨认到美颜工具，挪动端的追踪成为了手机使用的中心功用之一。人脸追踪的目的是在给定目的初始地位的状况下，估量出接上去目的的地位和尺度。虽然目前的人脸追踪算法获得了一系列提高，但在挪动端还面临着严峻的应战。业界提出了挪动端数据集和物体追踪数据集，但关于挪动端的人脸追踪还没有细分的合适的数据集供研讨人员开发和测评算法。
虽然与目的追踪很类似，但挪动端的目的追踪算法却在以下方面有着共同的不同：
- 由于设备的旋转和挪动使得目的的尺度变化猛烈；
- 相机和目的都在同时运动，相机运动较为疾速；
- 严重遮挡的人脸在人脸剖析中没有奉献，不应该被追踪；
- 挪动端相机的视场较小、人脸很容易分开视场；
- 挪动端算力无限；
- 照片遭到卷帘快门的影响，形成不用要的歪曲和模糊。
一个优秀的挪动人脸追踪算法不只仅需求克制诸如光照变化等传统的应战、更需求高效地处理挪动端如视角、运动等特殊的成绩。
本文经过提出iBUG挪动人脸追踪数据库作为测评基准，详细剖析OTB和VOT数据集上的23种前沿追踪算法，并指出了深度学习和人脸相关算法结合具有潜在的进步空间。
2.人脸追踪成绩
人脸追踪成绩可以归结为在初始地位给定后给出t帧中人脸的最优地位，表达式如下：
假如人脸无法观测则为0，假如可以观测则找到分数最大的区域r；其损失函数则可以定义为最小化帧序列中人脸地位的误差：
目前针对视觉追踪成绩次要分为两种思绪，一种是应用相关滤波的办法完成；另一种则是应用深度学习的办法来处理。
相关滤波器近年来在VOT和OTB数据集上获得了惊人的表现，它可以被视为一种模板婚配的进程。在初始化进程中，相关滤波经过第一帧中的目的区域停止训练，随后在后续帧的候选窗中使用滤波器。最初在生成的空间执行度图中选出最高的区域作为这一帧的预测输入，同时对CF停止更新。相关滤波次要需求处置以下四个方面的成绩，辨别是如何从原始数据中抽取无效特征、处置不同尺度的目的、边界效应带来的信息损失和长工夫追踪。
而 基于深度学习的追踪办法 次要分为单个CNN追踪、双CNN追踪法和基于RNN的追踪办法，同时还有强化学习的办法也异样用于挪动端的人脸追踪。
研讨人员们关于算法停止了速度和精确率和评价，需求指出的是作者的电脑配置为Intel(R) Core(TM) i7-7700 3.60GHz CPU 、 GeForce GTX 1060 GPU 3GB memory。
从精度比照图上可以发现简直一切的追踪器在挪动端人脸追踪义务中都呈现了一定水平的功能下降。在成功率图中发现排名前五的算法都运用了深度特征，这意味着好的特征关于挪动端人脸追踪义务具有重要的意义。
同时文中还对针对数据集的不同属性评价了23种算法，详细请参看文末链接的论文。后果显示目前挪动端的人脸追踪算法相较于其他义务还有很大的差距。但可以看出基于深度网络的特征能够在将来扮演重要的作用，高效的在线学习战略可以协助基于深度学习的追踪器均衡速度和精度的要求。
参考
paper：https://arxiv.org/pdf/1805.09749.pdf
Lab：https://ibug.doc.ic.ac.uk