雷锋网AI研习社按 ：位姿测量是许多空间义务的根底，也是挪动机器人挪动的前提，其重要性不用多言。传统的位姿测量办法曾经开展了几十年，获得累累硕果的同时也遇到了不少技术瓶颈。深度学习的衰亡，重新给了位姿测量新思绪，本文为大家引见的就是基于深度学习的位姿测量。

在近期雷锋网 (大众号：雷锋网) AI研习社举行的线上地下课上，来自北京航空航天大学的张欢同窗分享了一篇CVPR 2015文章中用到的应用深度学习停止位姿测量的办法。没有观看直播的同窗可以点击 视频回放 。

张欢，北京航空航天大学形式辨认与智能零碎硕士在读，次要研讨方向为计算机视觉，应用深度学习停止非协作目的位姿测量方面，曾带队参与MBZIRC第一届世界无人机大赛。

分享主题 ：基于深度学习的位姿测量

分享提纲 ：

• 位姿测量的意义

• 传统位姿测量办法的分类和应战

• 基于学习的位姿测量办法

• 基于深度学习的位姿测量办法——描绘子网络

物体的位姿测量指的是在特定的坐标系下获取目的的三个地位参数和三个姿势参数，特定的坐标系可以是世界坐标系，物体坐标系，相机坐标系。详细使用范畴举例，有卫星辅佐入轨，维修毛病卫星 ，卫星加注燃料等。

物体的位姿测量的使用

物体的位姿测量在机器人、自动化及机器视觉等范畴也有着十分重要的使用，尤其是在机器人范畴，精确疾速的失掉物体的六维位姿关于机器人操作物体是十分重要的。在工业消费中更是如此，精确测量配件的位姿，才干使得工业机器人以规则的姿态抓取物体并对准装置，关于进步工业消费效率有着十分重要的意义。

传统位姿测量办法的分类和应战

传统的位姿测量办法次要包括基于单目的办法，基于双目的办法，基于多目的办法，基于扫描式激光雷达的办法，基于非扫描式激光雷达的办法，近年来开展迅速的基于SLAM的办法，以及多传感器交融的办法。

传统位姿测量办法分类

传统位姿测量办法的应战

传统位姿测量办法的应战次要包括以下几个方面：

首先，传统的位姿测量办法大多是基于几何特征的办法，而根本的几何办法关于目的外表的纹理具有一定的依赖性，如第一幅图所示。

其次，在真实环境中，由于遭到光照等要素影响，相机成像质量会发作退步，基于几何特征的办法容易遭到极大影响，如第二幅图所示，空间环境中的成像质量就是十分差的。

第三，复杂的背景也会对基于几何特征的办法发生很大的搅扰，第三幅图中的场景是LineMOD数据集，场景比拟复杂。

最初，发作部分遮挡等状况下，物体发作了形变，基于几何特征的办法不一定能胜任位姿测量等义务。

而近年来迅速开展的基于学习的算法具有很强的鲁棒性，受环境影响也绝对较小，给我们提供了一种新的思绪。

基于学习的位姿测量办法

次要包括基于稀疏特征的办法，基于稀疏特征的办法，基于模板婚配的办法。

基于稀疏特征的办法从图像中提取兴味点，用部分描绘子来描绘这些兴味点，并婚配到数据库。

Lepetit等把婚配成绩转化成分类成绩，把物体每个关键点的一切能够的外观集归成一类。每个关键点至多一张样本图，然后依据样本图生成样本集训练分类器，运用随机森林作为分类器，对每个关键点停止分类。

Collet等提出了在混乱的场景中物体辨认和位姿测量零碎POSESEQ，该零碎学习物体特征并制造数据库，运转时检测物体并从数据库中搜索，获取物体6D位姿。针对零碎延迟较大的成绩，Manuel等人添加了零碎的可拓展性。

基于稀疏特征的办法和传统的基于几何的办法有一定的类似性，都是关于纹理较少的物体辨认较为困难，关于此类物体的辨认，前面引见的基于模板的办法较好。

基于稀疏特征的办法中，用每个像素对想要的后果停止预测，以下是近几年研讨办法的开展和改良。

在实践使用中，随机森林的复杂度会随着物体品种的添加而添加；物体品种少的话，训练出的效果又不是很好。这是用三个物体停止训练的训练后果；第一张图是把物体联系出来；第二张图是联系出的物体的能量函数图；第三张图是跑出来的位姿后果；每张图片里右边都是groundtruth，左边是测试后果，估量出来的位姿和groundtruth还是有一定差距的。

基于稀疏特征的办法和基于稀疏图像块的办法，也就是随机森林的办法，都是属于学习的办法，但还不是属于深度学习的办法，接上去我们引见的基于模板婚配的办法是真正属于深度学习的办法。

基于模板的办法

基于模板的办法是用固定的模板扫描图片，寻觅最佳的婚配。

Hinterstoisser 等研讨者对物体在半球节点地位生成少量边缘模板，并把基于边缘的模板和相应的位姿一同停止训练，验证时依据模板停止位姿辨认。

在此根底上，Wohlhart等将物体品种和物体视图模板一同停止训练，学习代表物体品种和位姿的描绘子。

接上去分享的的文章就是学习目的辨认和位姿估量的描绘子。这是CVPR 2015上收录的一篇文章。

这篇文章的创新点在辨认物体品种的同时停止位姿估量。他是经过卷积神经网络学习描绘子完在互联网思维的影响下，传统服务业不再局限于规模效益，加强对市场的反应速度成为传统服务业发展的首要选择。在互联网思维下，通过对传统服务业的改革，为传统服务业发展创造了全新的天地。成的。这里的描绘子不是部分描绘子，而是整张图片的描绘子。

给定一个物体的输出图像X，想失掉他的分类和位姿估量，详细的完成步骤如下图。

训练数据都是分解数据，训练数据包括黑色图像和深度图像，可以用两种数据一同停止训练，也可以独自指定某一种停止训练。测试数据是真实图像，也包括黑色图像和深度图像。

网络主体是一个卷积神经网络，网络的构造比拟复杂，两个卷基层，一个池化层，两个全衔接层。详细的训练参数如图所示：

为了完成同时停止辨认和位姿测量，想要取得的描绘子需求有两个重要特性。不同物体的描绘子间的间隔较大。相反物体的描绘子间的间隔较小。

训练样本中，直接小批量训练样本会重复训练，糜费计算资源，因而，网络是依照下图的办法停止训练的。

首先从每个物体里随机选取一个训练样本；然后添加训练样本最接近的位姿模板，pairs就是这些最接近的位姿模板和原来随机选取的训练样本发生的；迭代完成，直到小批量总数取满为止。取完之后，在每个训练样本中添加另外的triplets量，来自不同物体最类似的模板或许相反物体位姿差别较大的模板。训练样本取好之后，就可以停止训练了。

以上是网络主体局部引见，接上去是实验局部。

数据集采用的是Line Mod数据集停止测试，这个数据集有15个物体的视图模板，包括分解数据和真实数据。这个数据集还有物体的准确位姿，需求留意的是数据集里包括惯例的物体，也包括水杯，碗这样十分规物体。这样的物体形状具有对称性，测量它的位姿是具有一定应战的。

详细实验局部，可以观看AI慕课学院地下课 视频回放 。

总结

最初，总结一下这篇论文提到的基于模板办法的几个缺陷，也是基于模板婚配办法的通病：

首先是需求整个模板婚配到一个特定物体，相比之下，基于稀疏特征的办法鲁棒性更强，遮挡状况下不容易婚配到。然后是关于可变性的物体应战很大，需求少量模板，最初是该办法也容易遭到光照等要素影响。

雷锋网更多地下课直播课程敬请关注「AI 研习社」。假如错过了直播课程，还可到AI慕课学院查找该期的 视频回放 。

。

随着中国经济向消费型模式的转型， 电子商务和移动电子商务的快速发展带来了支付行业强劲的增长。