农企新闻网

眼擎科技开创人兼CEO朱继志:前后端的图像辨认就像买家秀与卖家秀

发布者:张阳
导读2018年4月20日,由亿欧汽车主办的“预见·科技出行——GIIS 2018智能网联汽车产业创新峰会”在北京千禧大酒店举行。来自传统车企、造车新权力、汽车供给商、科技公司、自动驾驶企业、动力电池企业以及智能出行平台等近30位嘉宾,围绕产业政策、产品革新趋向、车企战略、品牌塑造、供给链创新、投融资新风向等话题,共同探究了汽车产业的开展方向。其中,眼擎科技开创人兼CEO朱继志宣布了以“成像引擎芯片:打
眼擎科技创始人兼CEO朱继志:前后端的图像识别就像买家秀与卖家秀

2018年4月20日,由亿欧汽车主办的“预见·科技出行——GIIS 2018 智能网联汽车 产业创新 峰会”在北京千禧大酒店举行。来自传统车企、造车新权力、汽车供给商、科技公司、 自动驾驶 企业、动力电池企业以及智能出行平台等近30位嘉宾,围绕产业政策、产品革新趋向、车企战略、品牌塑造、供给链创新、投融资新风向等话题,共同探究了汽车产业的开展方向。

其中,眼擎科技开创人兼CEO朱继志宣布了以“成像引擎芯片:打破自动驾驶120dB的瓶颈”为主题的演讲,他以为:

1、关于自动驾驶来讲,摄像头就是一个测量设备,你要做的事情就是要去把各种各样物体自身的颜色可以精准的复原出来。

2、芯片技术在汽车行业中次要做增值效劳,到电动车时代,变成了关键的替代。

3、高端产品间的竞争一定要靠原创和产业链,不能经过出口的方式完成。


以下为演讲实录(有删减):

我们讲到汽车的感知才能的时分,视觉是最重要的一环。在AI整个范畴外面,包括做前面很多AI深度学习的,绝大局部都是跟视觉相关的,视觉又分两局部,图像辨认以及成像,图像辨认很多公司说我们的辨认精确率到97%、98%甚至99%,但是这都有一个前提,就是投像是正常的,投像的前端和后端的辨认有一个前后端的关系,就跟买家跟卖家一样的。

这就有点像淘宝卖家秀跟买家秀一样的,我们看到的是卖家秀的照片,常常在现场失掉的是买家秀。这个的确在投像范畴第一天发作,在语音外面,在过来的十几年外面也在发作这样的事情,前面的辨认率十分高,但是到明天为止我们还没有看到在我们正常餐厅外面可以运用的语音辨认,感知端在整个视觉范畴十分重要。

为理解决这个成绩, 为数亿中文用户免费提供海量、全面、及时的百科信息,并通过全新的维基平台不断改善用户对信息的创作、获取和共享方式。 激光雷达 开展出来了, 特斯拉 不喜欢用激光雷达,马斯克说激光雷达是一根拐杖,说自动驾驶必需要完满处理全天候的主动光学投像辨认成绩,主动光学就指的是不自动去发任何能量的东西,由于它有很多反作用。我以为大的方向来看,纯视觉才能和激光雷达比有几个大的区别。

第一个 本钱十分高 ,由于视觉的芯片是一个集成电路,它的本钱随着量是可以有限降低的,而激光雷达触及到光源,机械各种各样的局部装置特别复杂。而且激光雷达产业链是绝对封锁的产业链,而视觉是开放的,全世界无量多的公司都在做整个视觉的剖析,激光雷达做剖析自身就是做激光雷达本人的。由于 自动驾驶当前最次要的还是要靠这种主动光学的投像辨认,最终能够是一个综合零碎。

眼擎科技做全天候的主动光学投像成像的,我们不做辨认,我们只是做投像的成像。当我们人眼去看各种各样东西的时分,我们摄像头看各种各样东西的时分,在暗光、逆光、反光的时分常常招致投像太差,我们可以把它生成正常的投像,这样在我们后端辨认的时分就不会有任何的成绩,我们眼擎科技要做一个像人眼一样的,可以顺应各种各样环境光线的成像引擎的技术,以及把它做成芯片。

在自动驾驶外面其实关于这个很早就有规范,欧盟在视觉上叫120dB ,在逆光的时分过隧道我们人眼都不太舒适,早晨的时分路灯或红绿灯反差会十分之大,120dB差不多就意味着跟我们人眼的顺应才能差不多。120dB在技术上的意思就是说最亮的光线和最暗的光比可以到2的二十次方,这是十分庞大的比值,在完成的时分意味着要用二十位来去表示,来去处置这些光线的数据。

所以画了一个图,从最亮到最暗,要用二十位乘以120dB,在某个环节丢掉了,我能够只能取其中的八位、十二位、十四位,这样少量的信息在亮部或许暗部就被丢掉。这个目前在自动驾驶的视觉范畴,前端最次要的成绩就是静态范围不够,还不是暗光,由于车自身有灯,在绝大局部的场景都是由于逆光的缘由,光比太大,静态范围不够招致的,这是最大的痛点。

但是常常有客户找我们说,我们买的摄像头磨损声称是120dB,我们拍的照片怎样这么差,究竟是不是忽悠我们?其实也不是。在整个链条外面视觉有四个环节。首先是镜头,镜头是从光出去和出去,光出去到了CMOS传感器,电子信号出来,然后是成像的处置,有很多信号是电子信号出去变成投像,我们GPU各种各样的处置最初得出一个后果反应回来。四个环节外面后面的环节可以到120dB,但是传统的ISP的架构都是八位的,我们有一个二十车道的车,忽然变成八车道,其他十二个车道整个往前冲,这是目前一切静态化范围最大的缘由。但是也不可以说在忽悠大家,诈骗大家,由于CMOS自身会有120dB,你的图像辨认有这个才能,用二十位方式处置这个数据实际上也可以失掉这个。但是我很不幸的是我们一切做架构都是来源于准的八位,很难为这个改一个架构,传统的图片最初显示的都是八位的,这个是由于传统ISP架构的成绩招致整个的120dB达不到最中心的缘由。

我们眼擎科技是这样做了一个新的架构,目的就是要完成端到端的120dB,出去的时分COMS是120dB的,我们出来的时分给到大家的辨认软件一定是120dB的,而且这个120dB是八位的方式表征着,也就是说我们不必去修正任何的视觉辨认的算法,怎样做呢?这外面有三层的架构,首先要做一个二十位COMS控制器,以及二十位的芯片架构流程,由于底层架构不一样,我们再往上做的时分要做很多全新的算法以及各种各样新的算法。

这些新的算法出来了之后还要不时地去做测试,这三个我们把底层的硬件芯片架构以及各种各样的全新算法再加上这些算法在各种各样场景下的验证数据,加在一同叫做全新的成像引擎的架构。当我们过隧道的时分跟正常的图片一样,暗的中央是清楚的,亮的中央也是清楚的。

成像的历史最早是胶卷时代,八九十年代开端进入日本,日本把整个架构定上去,日本一切的公司迪康、家能、索尼,它们有各种各样的成像技术,不光是方才说的,在安防、医疗,在更高端的设备全是它们的东西,它们一切的东西价钱都是一样的,这个称之为数码ISP相机。一切的摄像头都是沿用了这个架构,包括我们看到国际以前做安防行业的,都是采用这个架构。

如今到了一个AI视觉时代,我们以为跟以前从胶卷到数码时代一样,基本的变化就在于说成像要从以前给人看,变成如今给机器看。在过来的十年外面一切成像技术的开展,不论是日本还是中国的手机厂商都在做修图、美颜、磨皮,各种各样的滤镜,这个对我们人看的话十分有协助,所以我们看到手机外面的拍照视频大幅度进步,它其实不是成像技术的进步,而是投像处置技术的进步。

但是这些所做的一切,对一个机器来讲是没有任何意义的,我们测试机器不需求去对这个事情停止审美,他需求的是精准的测量设备, 相机关于自动驾驶来讲就是一个测量设备,你要做的事情就是要去把各种各样物体自身的颜色可以精准的复原出来 ,在各种各样不同的状况下都可以复原出来,传给各种各样的大佬,干什么不必关怀。所以我们把它当成一个给机器用的测量仪器做这个。

数码相机的架构从历史下去看是没方法处理复杂光线成绩的,不是由于功用不做,而是由于这个机构不行。大家有很多人用单反的都有这集体验单反一切的相机两个格式,一个叫弱格式,一个叫直接拍摄的格式,直接拍出来的照片就是巴比特的范围,弱可以有十四位和十六位的,我们做的事情就是相当于把这个架构打乱了,我们直接用这种弱格式直接的输入到我们现有的自动驾驶这个平台外面来,这是一个架构的成绩,到明天为止日本简单来说,创业有四步:一创意、二技术、三产品、四市场。对于停留在‘创意’阶段的团队,你们的难点不在于找钱,而在于找人。”结合自身微软背景及创业经验。IPS还没有改动这个架构。

芯片是一个中心技术 ,这个我们深有领会,我们创业于2014年终,这个是第五年,我们刚开端把产品变成行业使用,还没有到很多客户的阶段。我们刚创业的时分选择了原创高端的视觉芯片,原创就是全世界没有做过这个东西,我们定了3+2+2的构造,三年做技术的开发,两年开端推向市场,两年再去看市场的成熟,如今是我们的第五年,往年是产品落地的一年,我们的动身点要处理一个技术成绩而不是先去看这个成绩在哪可以用到。

如今一切的相机,不论是工业的还是消费的,还是手机的,都会碰到复杂光线的成绩,我们想来处理这个成绩,这是我们创业的初衷。测试的办法就是我们以为说这个成绩存在几十年了,都没人处理,一定不是复杂的说功用不行,而是外面的架构不行,所以我们要做一个新的架构。

我们明天会有一个新的汽车自动驾驶平台发布,叫eyemore DX120 ,它就是完成我们方才讲的120dB,大家不必改任何的东西,我们有接口契合车规的,外行业外面推行方案。大家不必改任何东西就可以辨认,它可以处理大约99%的逆光环境,包括隧道、地库,各种各样的环境,我们5月底会有样本给大家提供测试请求。

讲到芯片,做芯片挺难的,其实比做芯片更难的是怎样卖芯片,尤其当你是原创芯片的时分,做芯片卖模子推方案建生态,这是一个新的芯片必需要走过的历程, 除了自动驾驶以外,我们是一个通用成像技术,我们往年会发布基于安防、机器人、无人批发、医疗、深度相机等各个范畴的参考设计方案。

除了这个复杂关系之外,其实我们从根本下去看,我们的成像引擎是最大水平的可以进步图像的信噪比,最初的图片辨认率是由信噪比来定的。我们将来除了把本人的眼睛做好以外,很多大佬跟眼睛的交互十分重要,我们会提供更多的合适于辨认的API,来协助大家处置视觉的成绩。

我们明天自动驾驶前面有特别多的东西,由于一个搞不定,如今从CPU变成了有GPU,最初成像。这个工夫长了当前,合久必分,最终还是分久必合,三年当前各种公司都会推出愈加完好的芯片方案。

最初,我想分享一下汽车和芯片产业互相之间的关系,我本人的了解。在自动驾驶之前,自动驾驶和芯片的关系,其实 芯片在IT技术在汽车外面次要做增值效劳,到电动车的时分变成了关键的替代 ,自动驾驶实践上会带来整个IT汽车整个产业的革新。

以前的时分我们一切的设计技术都是给人用的,包括我们的芯片,我们要讲人际交互特别的好,在自动驾驶外面人际交互不是一个成绩了,由于没有人了。所以给机器用能够首先会做自动驾驶外面失掉普及。在过来十年外面一切的芯片在中国的开展主旋律是做消费类产品,我们看到互联网、手机和各种各样家用的产品都是消费类的产品,如今我们看到很多公司在方案的时分,还用很多消费的产品,没有方法,如今大家都晓得平安十分重要,所以当前自动驾驶会大大的推进整个芯片行业从消费级往工业级甚至更高规格晋级。

最初还有就是提到的完全原创的东西,由于最近芯片刷屏,中兴事情刷屏了,很多人讨论这个成绩,我觉得其实中心的技术都是很难买到的。那在自动驾驶也是一样的,所以我们很多的技术公司都会本人去开发一个自动驾驶的视觉处理方案,而不是运用已有的产品, 当高端产品竞争的时分一定要靠原创和产业链,不能经过出口的方式完成