雷锋网新智驾按：本文作者程建伟，武汉极目智能技术无限公司CEO；当选武汉市“光谷3551人才方案“； 2011年起从事视觉ADAS开发。雷锋网新智驾独家发布，转载请联络受权。

传感器交融被以为是智能驾驶的必定趋向。而这两年，在交通部政策的推进下，局部L1和L2级别的ADAS功用被要求在某些商用车型中强迫装置，包括AEB（自动紧急刹车）。这里就借AEB在商用车上的落地谈谈传感器交融的事情。

AEB的技术完成办法

目前，完成AEB的技术次要有三类，辨别是基于视觉传感器、毫米波雷达和激光雷达。由于本钱限制要素，国际次要运用前两种方式。视觉传感器和毫米波雷达完成对车辆的AEB功用的原理不同：毫米波雷达次要是经过对目的物发送电磁波并接纳回波来取得目的物体的间隔、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需求先停止目的辨认，然后依据目的在图像中的像素大小来预算目的的间隔。

这两类技术各有优劣。总体来讲，摄像头方案本钱低，可以辨认不同的物体，在物体高度与宽度测量精度、车道线辨认、行人辨认精确度等方面有优势，是完成车道偏离预警、交通标志辨认等功用不可短少的传感器，但作用间隔和测距精度不如毫米波雷达，并且容易受光照、天气等要素的影响。毫米波雷达受光照和天气要素影响较小，测距精度高，但难以辨认车道线、交通标志等元素。另外，毫米波雷达经过多普勒偏移的原理可以完成更高精度的目的速度探测。

于是就有了第三种方案，将摄像头和雷达停止交融，互相配合共同构成汽车的感知零碎，扬长避短，完成更波动牢靠的AEB功用。

交融方案也是国际商用车AEB的落地上所强迫要求的方式。在JT/T 1094-2016《营运客车平安技术条件》中提到，车长超越9米的营运客车需配备契合JT/T 883规则的车道偏离预警零碎（LDWS）和AEB（包括前车碰撞预警零碎）。在交通部办公厅所印发的《营运客车平安达标实车核对任务标准》中明白要求，营运客车驾驶室后面罩需求装置AEBS毫米波雷达或激光雷达安装。后续想必也会出台政策推进在其他商用车车型上的普及，将来能够还会扩展掩盖乘用车。

传感器数据交融的原理与优势

采用交融方案后，摄像头和雷达会获取到不同的感知信息，这些信息之间可以互相补充，但也能够会存在矛盾。假定在某一场景下，来自摄像头的信息是车辆后方50米左右有异型车，需求刹车，而雷达却没有反应异样的信息，这样的矛盾信息能够会让车辆手足无措。所以，为了让车辆控制中心接纳到分歧且明白的举动指令，就需求将传感器的数据停止交融。

传感器数据交融的根本原理跟人脑综合处置来自眼、鼻、耳等多器官的信息相似，次要是综合多个传感器获取的数据和信息，把多传感器在空间或工夫上冗余或互补信息根据某种原则来停止组合，取得对被测对象的分歧性描绘。

回到驾驶场景上，大致是这样的流程：首先摄像头和毫米波雷达辨别针对观测目的搜集数据，然后对各传感器的输入数据停止特征提取与形式辨认处置，并将目的按类别停止精确关联，最初应用交融算法将同一目的的一切传感器数据停止整合，从而得出关于目的要挟性的分歧性结论。

以极目智能的视觉和雷达交融零碎为例。如下图，图中蓝色点和绿色点辨别为摄像头和毫米波雷达对同一目的的检测，摄像头次要担任目的外观锁定，毫米波雷达次要担任测距。白色点是雷达检测到的其他地物目的。

数据交融也有不同的战略，比方有的方案会选择将不同传感器各自处置生成的目的数据停止交融，有些会选择将不同传感器的原始数据停止交融，防止一些原始数据的丧失。在智能驾驶场景下，视觉和毫米波雷达的数据交融大致有3种战略：图像级、目的级和信号级。

图像级交融，是以视觉为主体，将雷达输入的全体信息停止图像特征转化，然后与视觉零碎的图像输入停止交融；目的级交融， 是对视觉和雷达输入停止综合可信度加权，配合精度标定信息停止自顺应的搜索婚配后交融输入；信号级交融，是对视觉和雷达传感器ECU传出的数据源停止交融。其中，信号级别的交融数据损失最小，牢靠性最高，但需求少量的运算。

测试数据显示，与单视觉或单雷达方案相比，交融方案在零碎牢靠性和鲁棒性、数据可信度、零碎分辨才能等方面更具优势。

视觉和毫米波雷达交融的技术根底

传感器交融已被公以为是智能驾驶的必定趋向。为了完成视觉和毫米波雷达的数据交融，需求具有一些技术根底，比方零碎化的图像和雷达数据获取和处置技术体系，在数据处置和目的分类辨认等层面具有信息交融算法的优化和设计才能，等等。鉴于以后国际的视觉感知技术要比毫米波雷达愈加成熟，那么关于视觉技术企业来讲，他们在与内部雷达平台停止交融的时分，则需求具有优秀的雷达零碎二次开发才能，尽量进步信息的应用率。

关于视觉和毫米波雷达的交融，技术完成上的次要难点在于摄像头和雷达观测值的婚配、数据交融、多目的场景下无效目的库的维护等，需求思索容错性、灵敏性、可拓展性、牢靠性、装置等多方面的要素。

信息交融技术完成需求不时配合少量路测，触及设备输入、真值标定以及二次数据开发等任务，对应的数据采集量、数据存储量、数据交互量、数据处置任务量十分大，关于研发机构的综合开发才能有很高的要求。

最初，传感器数据交融的中心关键还是在于采用适宜的交融算法。作为一个新兴范畴，数据交融目前尚无一致的实际和狭义无效的交融模型和算法，需求依据详细场景来选择，但可以预见，神经网络和人工智能等新技术在传感器数据交融中将起到越来越重要的作用。这也是各行业参与者打造技术壁垒，树立中心竞争力的关键所在。

雷锋网 (大众号：雷锋网) 引荐阅读：《 极目智能凭何打败 Mobileye 拿下金龙大单？又将如何深耕 ADAS 行业？ 》

。