5月25日，由亿欧举行的“GIIS安防AI创新峰会”在北京千禧酒店浩大召开。其中，眼擎科技CEO朱继志的演讲标题是《eyemore成像引擎 芯片 ：打破安防AI复杂光线瓶颈》。 朱继志，毕业于北京大学电子学系。曾任中兴通讯视频开发工程师，在图像视频技术及产品范畴有10年的丰厚的经历。从小孔成像到如今各种纷繁的影像设备，智能安防很大水平也在依托图像来停止。朱继志努力于开发新一代逾越人眼视觉才能的成像引擎，处理AI视觉在复杂光线下不受搅扰高质量成像的中心痛点。

在演讲现场，朱继志从AI安防落地的难点与成像引擎技术做引，经过一段隧道内外复杂光线下成像的demo视频，引见了AI视觉赛道上图像处置的重点成绩。之后从视觉成像的行业开展谈到了芯片产业的崛起，而关于处理复杂光线下的成像成绩，朱继志详细论述了后端算法可以处理一切成像成绩的认知误区，以及传统 成像技术 的反作用。在演讲的最初，朱继志谈到AI芯片产业的开展格式以及眼擎科技为产业赋能的初衷和使用价值。以下便是朱继志的演讲原文（亿欧对该内容有局部删减）。

朱继志 ：大家上午好，我是朱继志。方才听到各位嘉宾都讲安防是个十分大的市场，而我们公司做了一个十分小的事情，就是研讨在AI视觉外面如何处理复杂光线下的成像成绩。

传统视觉成像架构根深蒂固

在座的一定有不少是做AI图像的，我们如今都讲图像辨认率十分高，到95%甚至98%、99%，这些大局部都是实验室的数据，落地到实践场景下常常发现很难辨认，首先这是由于图像源的成绩。 就像淘宝的卖家秀和买家秀一样，很多时分买东西看到的商品演示效果十分好，现场就不行了。其真实语音辨认的时分这个成绩曾经有前车之鉴，到明天为止一切的语音辨认都做的十分好，但是有一个成绩就是麦克风不行。在罕见的生活环境中，比方餐厅外面由于噪声等各种各样的缘由，我们如今还见不到可以正知识别的麦克风，而这只是其中的一点。

第二个就是当我们的AI包括很多安防产品开端落地的时分，大家觉得最大的难点是什么？一切人都在说光线差了就不行了，做产品的人会说那是ISP不行，这是如今行业里普遍的一个认知。

我们以为将来的AI视觉的才能，就是相机的才能应该向我们人眼靠齐，甚至比人眼更好。 我们公司用了四年工夫干这一件事：我们做一项成像引擎的技术，使我们的相机可以在各种各样的环境上去处理成像的成绩。我们的眼睛才能最强的不是它的分辨率高，也不是看的很清楚，而是它的环境顺应才能特别强。由于人眼是几亿年以来退化的后果，自然可以顺应，但是一切的相机和摄像头不具有这个才能。

经过这一段在隧道内外复杂光线下的成像效果视频，我们可以看到隧道内内在黑暗光线下成像比照的反光水平，这是典型的逆光场景。就是在特别晃眼睛的状况下，接上去是一个暗光的场景，在这种状况下eyemore关于颜色复原是十分精准的。在深圳我们有1500多平的光学实验室，在逆光场景下，普通的相机拍摄会觉得暗光和逆光都不行，而我们可以明晰地成像。其实复杂光线的成绩不断都存在，我们拍照时也会常常遇到。包括在安防范畴。但是以前做这个处理方案属于如虎添翼，到了AI之后就变成了必要功用。比方说大家通常会以为在自动驾驶、机器人范畴抓拍人脸，拍照光线不好可以不拍，或许可以打灯。以前在安防范畴也一样，可以经过打个红外灯等各种各样的方式完成，而如今包括安防、机器人、3D相机、自动驾驶，都需求自动处理复杂光线下自顺应的成绩，这就是AI招致的前端需求的变化。

假如大家觉得视觉是个赛道，我们来看一下图像处置的环节。 其实每个细分市场到它落地的时分都是一个接力赛，在视觉范畴里有四棒。从镜头开端到CMOS再到后来的成像、AI辨认，大家特别容易关注到的是GPU的事情，只做AI算法，使用很难落地，要做到行业真正的落地，尤其在安防落地，必需要靠整个产业链的提高。其中有一环就是我们做的成像的数据处置，怎样样从CMOS信号变成成像？这种成像包括三局部：一个是要驱动CMOS，第二个是有很多信号处置的算法，第三个是图像算法。很多时分谈到这个能不能经过一个软件GPU来做，答案一定是不能做的。

传统数码相机的架构，其顺应光线的才能特别差，后面也有嘉宾提到过AI架构是3D算法和数据，其实我们也是运用这品种似架构，我们搭了十分大的平台，测试了几百种复杂光线下的场景，由于这类场景不止是在实验室，还有很多不可知、不可预测的场景存在。

其实当我们每看一个细分技术的时分，实践使用中能够会呈现一个很长工夫无法被处理的成绩。 大家做安防的都晓得，暗光和复杂光十分不好办，我们一定要看一下源头，历史上怎样来的？头部是哪些公司？为什么没有处理？视觉成像最早是胶卷时代，到了八十年代开端，全部转移到日本。我们明天讲安防其实一切的源头都来源于摄影师拿的这个单反相机，相机整个市场被日本垄断了，美国人都不做，我们也没怎样做。我们如今看到的架构完全来源于数码相机的架构，而且这个架构在过来的三十几年外面没有发作任何变化。假如和高质量的相机来比，虽然拥有异样的架构，在安防里这类相机仍是十分低端的产品。提到自动驾驶，汽车外面使用的摄像头比安防愈加低端，比手机差的更远。

AI赋能产业改造，机器视觉崛起

从AI衰亡之后，相机行业有很大的推翻。以前一切的相机都是给人看，如今开端要给机器看， 相机在过来的给人看的阶段，包括佳能、尼康，他们做的少量事情是拍完怎样基于RAW数据修图？而不是从前端改动技术的架构。如今开端要给机器看，给机器看每一个摄像头实践上是一个测量仪器，就是怎样样可以精准的复原这个物理世界的物体，机器测量世界的根据就是颜色，在各种状况下可以精准的复原物体的各种颜色，而在各种环境下都能做到精准复原这一点十分重要。

机器需求的是测量仪，我们需求将相机和摄像头的概念转变成颜色测量仪的概念，在前端精准的测量出来再送到AI大脑停止剖析和处置。其实，很多做安防的人都会问到，这个ISP怎样不行？我说不是每一家的ISP不行，是ISP这个架构不行，三、四十年前做的架构不能够顺应AI时代的需求。

大局部的公司做产品是从使用开端做，我们是从底层开端做起。我们花了三年的工夫做全新架构的成像引擎技术研发，产品较成熟之后，从往年才开端走向市场， 我们把它做成芯片、模组等产品形状，会以不同的方式停止推行销售。我们也会以IP的方式，使用在安防、汽车、机器人、手机等各种相关的行业外面，所以我们是沿着从下往上走的途径，我们以为这是一个在工业行业外面处理详细成绩的一种方式。

为什么这么做呢？如今大家会比拟关注芯片产业，我在创业之前做过国际第一个大型的芯片电商，做了很多年芯片的市场推行，芯片的品类十分多，每个芯片都承载着一个中心技术。假如我们把每一个芯片看成一个细分市场，芯片有几千个品类，每个品类外面都是一个严厉的金字塔构造，有头部也有底部，我们的目的是在视觉成像范畴成为一个头部的公司，我们并不是追求有多少出货量，而是详细发扬了什么样的产业价值，我们以为在AI时代下的日企成像架构一定会被丢弃，也一定会被推翻。

我们如今可以提供成熟的成像芯片，往年我们大约能把芯片的量产做完。 同时我们可以开发工具套件，提供模组、提供IP受权，包括深度的定制。我们发现如今不论是安防还是医疗、汽车行业，很多人找我们说需求定制一个产品。定制的时分其实很有意思，很多时分也要重新做一个全新本着网络面前人人平等的原则，提倡所有人共同协作，编写一部完整而完善的百科全书，让知识在一定的技术规则和文化脉络下得以不断组合和拓展。 的架构，如今很多成绩在于做产品的公司找人定制的时分很多中央不好定制，由于以前芯片的架构根本上不能动，所以只能在使用层面上修修补补，这是个很大的成绩，所以我们如今帮很多的客户提供全栈式的定制方案。

前端成像质的飞越，可以处理AI落地最初一公里

前段工夫有一个科技行业的大佬找我，就说有个小设备做辨认，为什么光线反光的时分不能辨认？然后我们解释了半天说这个成绩很难处理，很复杂，缘由是什么，最初他还是问我那句话，老朱你能不能给我弄一个软件？装一装我这个反光的成绩就处理了。这就反映以后一个普遍的情况， 我们发现这外面做AI和做软件使用、下游技术，普遍存在着了解上的鸿沟，很多人都以为软件可以搞定一切，很多人以为AI这么弱小，可以有少量的数据，一个东西哪怕前端图像再差，甚至是全黑的，我是不是可以让它经过AI大脑的方式辨认出来？ 这个实际下去讲也不是不可行，但实践上操作的时分根本下去讲是不可行的。其真实这种图像外面中心应该就是 信噪比 这个概念，信噪比越高辨认率越高，信噪比就是信号处置噪声，而信噪比很多时分在后端，假如这个图像一旦构成，信噪比很难再被提升。信噪比次要是在成像端提供处理方案，然后面的大脑计算端还有AI端可以做很多事情，但是对信噪比来讲十分能干为力。

还有一个就是很多人做安防设备，依照以前的习气十分喜欢关注Sensor，一切的人都希望能把Sensor做的十分好。其实Sensor有很多的限制，它自身不能看参数，Sensor有号称120dB的，我们历来没见过产品效果。在前端Sensor是偏模仿化的产品，必需要搭在成像里。我本人选择的时分历来不置信任何Sensor的目标，只要等使用实践调完之后处理了成绩，眼见为实才算。

第二个就是说静态范围的成绩，其真实一切的复杂光线里，最中心的是静态范围的成绩。 我们安防外面比拟喜欢讲星光，这个是一局部的场景，绝大局部的场景是由于静态范围不够。我们人眼的才能除了信噪比之外，眼睛不会给到大脑任何噪点的图像，我们人眼的静态范围十分宽。顺应才能特别强，从暗到亮，各种各样的范围都能看得十分清楚，包括我们常常看到的各种各样的场景。其实大局部的成绩在于不论你看到的景象是什么，最初都是静态范围不够招致的。我们人眼是120个dB左右，传统的ISP也不晓得什么缘由，直到如今都做的十分不好。以前大局部是经过视频的方式，这是我们花功夫最大的中央。我们大局部的工夫、精神都聚焦在处置静态范围顺应的成绩，高静态范围可以保证，图像一切的细节都存在的，后端算法就不必做任何处置的东西，只是剖析辨认就可以了。

如今大家看到市场上的各种产品，通常来讲，大家都会用一个复杂的方式来完成静态范围的调整。前端图像构成当前在后端加上一个软件分解，这些都有特别多的反作用，到了AI之后需求顺应各种各样的场景。这个场景很难讲，实验室外面有复杂的方式测出来，必需要经过前端在整个技术的架构下去做这件事，而静态范围影响了各种各样的东西。比方说颜色，颜色不准绝大局部来自于静态范围的成绩，包括自动曝光。如今我们宽静态产品做完之后发现一个推翻性的景象，那就是自动曝光可以取消了，宽静态足够，摄像头不需求顺应光线，一切产品都是一个曝光形式，根本上能顺应98%的复杂光线的场景。

静态范围我们常常容易曲解的就是一张图片要看全局，不能只看部分的成绩，必需同时统筹全局和部分的处置，由于很多场景下部分的细节会比全体的愈加难以处置，所以这种状况不能够说经过一个复杂的后端软件，算法层面去做一个曲线来处置这个成绩。 我们其实花了很长的工夫来处理信噪比和静态范围的成绩，实践使用中这两个成绩经常纠缠在一同。当我们很多时分谈到做成像，很容易犯的一个错误就是只处理眼前成绩，而没有看到带来的很多反作用。

大家通常喜欢运用多帧分解来处理暗光和逆光的成绩，这个反作用特别多，在AI层面根本上是不能够的。 虽然在传统的安防外面有一定用途，由于传统安防场景特别固定，但到AI时代一定要顺应各种各样的环境。包括前段工夫有一些传统的AI芯片公司找我们比照也一样，比照完之后觉得两者差异很大，我们就一种形式且能顺应各种各样的场景，而他们要不时地修正这样的形式。这就是当传统的安防晋级到AI时代安防的时分，大家必需要做好预备，一定要能顺应各种各样的环境，不然的话怎样叫智能？假如只能适配一个场景这就不叫智能。前端的信噪比和静态范围实践上是影响最初一切AI辨认的一个最关键要素。后边的辨认率能够很差，实践在后端还有空间，但是经过后端提升5%个点，在这一点上大家费的时间十分多，其真实前端还有很多的事情可以做。

专注高端使用，让机器逾越人眼

关于芯片，以前都是一个单芯片处理方案，在安防外面也一样，这一点大家都很熟习了。如今合久必分，开端有各种各样的AI芯片面世，GPU会先分出来，而处置成像复杂局部需求另外一个芯片。 一个芯片变成了CPU、GPU、成像引擎三个芯片，最初这个产品的形状就由它们的组合决议。 最复杂的AI相机还是ISP跑一跑可以，有能够第一个加上第二个，也有能够第一个加上第三个，三个放在一同就是一个功用高端的产品。最初组合的后果决议了它的场景使用是高端还是低端，目前我们次要面向安防外面的高端使用场景，由于高端的使用场景才会要求质量，有这样的需求。什么时分从高端开端走向普及？那需求工夫，之后随着工夫的演进，或许三五年当前会发现还是一个单芯片能更好的处理成绩，那时我们也会提供SOC，传统做IT的公司也会提供，不同的状况提出不同的处理方法。

后面讲过AI是眼睛，如今可以看到有各种各样的摄像头，我们以为将来在安防范畴会呈现数量庞大的AI机器。机器退化的进程是每一个AI器官都需求眼睛，从摄像头到眼睛的退化最关键的就是环境顺应才能。 假如摄像头能像我们的眼睛一样能顺应各种各样的环境，且可以搜集、辨认图像的话，这个摄像头的退化就完成了。 我们公司就是在做这件事情，我们觉得将来AI机器一定会比我们人眼的才能更强！这就是我们叫eyemore的意义，我们中文叫眼擎科技，意思就是逾越人眼的引擎。谢谢大家！

亿欧引荐：2018年6月13-15日，由上海市经济和信息化委员会、上海市商务委员会、上海市长宁区人民政府指点，上海市长宁区青年结合会和亿欧公司结合主办的“ 2018全球智能+新商业峰会 ”将在上海长宁世贸展馆举行，诚邀各位一同助力“AI落地，产业晋级”。

活动概况： 2018全球智能+新商业峰会