双髻鲨创始人伍宽:双髻鲨的双目ADAS之路

  9月24日,由新浪汽车、牛车网、汽车智能、汽车观察杂志联合主办的第七期轮语汇自沙龙、牛车网第四期汽车智能沙龙——“无人驾驶,未来何时到来”在清华大学旧经管报告厅举办。国内学术前沿专家、自动驾驶领域创业者、知名投资人和权威分析师就“无人驾驶,未来何时到来”进行了精彩的介绍和讨论。其中双髻鲨联合创始人/CTO伍宽发表了题为“双髻鲨的双目ADAS之路”的主题演讲,详尽介绍了双目技术的定义和特点,在场观众对于双目技术有了更加深刻的理解。

双髻鲨联合创始人/CTO伍宽双髻鲨联合创始人/CTO伍宽

  以下为现场演讲内容实录:

  我们公司叫“双髻鲨”,双髻鲨的特点是头特别宽,眼睛长在两端,它会形成特有的立体视觉和360度环视,这与我们公司在汽车领域做的技术非常类似,所以我们公司以及产品和技术的名字都命名为“双髻鲨”。

  这是我们的三个创始人,跟其他兄弟公司不太一样的是,我们三个创始人基本在图像领域都没有背景,创立公司以后才开始涉足这个领域。按照邓教授刚才讲座中的分类,我们做的产品是完完全全的L0级,毫无干预的ADAS辅助驾驶系统。

  一、双目算法和效果

  先给大家介绍一下双目算法的基本情况,假如前面有两个车,我有两个摄像机,那么我会从两个图像中同时看到场景,远处的车在图像中距离相对近一些,而近处的车在两个图像中的成像距离远一些,就可以区分它们两个与你的距离是多少。这就是双目最基本的原理。

  得益于九十年代一些论文的推动,现在有非常量化而且并不复杂的算法,也就是说我们完全可以摄像机安装不是特别平,经过简单的操作以后可以得到非常平整的图 像,并且通过两个物体在成像中的距离,推算出它和你的真实距离。所以双目在原理上非常的清晰简单,而且是工作比较可靠的一个技术。

  最早将双目用在汽车领域的是斯巴鲁,在1999年推出它的第一代产品,现在已经到了第三代产品,2014年它的ADAS系统拿到了当年世界第一的排名。据我们所知,现在博世也提供了双目方案,宝马、奔驰等很多高端车上也配置了双目的技术。

  我们看一下大概的效果,这是我们产品所做出来的一个实际效果,我们划出梯形车子即将通过的区域,把障碍物标在这里,这是进行SUV、面包车、公交车的实际测量。

  我们再提高点难度,第一个是比较脏的货车,因为它是敞棚的,这两种车在图像识别、视觉识别是比较大的压力。然后这是三轮车,这是中国的特色。右边是个电动车。

  我们再提高一下难度,这里是多个行人,行人的小孩还骑了一个滑板车,第二个是护栏,第三个是不规则的障碍,第四个图是绿化带。

  我们再把难度提高一点,第一个是北京非常有特色的雾霾的时候,它跟大雾还是不一样的,第二个是大雨的状态,第三个是没有路灯时候前面还有一个三轮车,第四个图片是在比较逆光的情况下。

  可 以看出来,双目的技术很有特点,很多场景看起来非常完美,障碍能够认出来,把精确的距离也能标出来,用于ADAS领域非常理想。如果再配合产品的优秀外 观,外观非常重视用户的观感接受度,因为国内而言大家对汽车内室要求很高,像Mobileye大黑盒子太丑了,配不上宝马,就不装了,所以颜值上我们非常 重视。一个非常稳定可靠的效果,加上产品的价格,再加上外观还不错,在市场上的前景一定非常美好。

  二、双目ADAS的挑战

  大 部分做ADAS的摄像头底下都完全包起来,一直延伸到挡风玻璃,是为了回避掉从中控台或者别的地方引过来的反光,做ADAS都把摄像头包得严严实实,因为 它容易受到干扰。北京车反光特点跟深圳车反光特点还不一样,因为深圳太阳光大,颜色贴膜会比较深,反光会更加强烈。另外,车子越高档反光越厉害,因为车子 越高档的话挡风玻璃越斜,角度就会越大,完全把东西反射到跟司机视线平行。

  这是个逆光场景,它除了带来更强烈的反光,还会把你本来能够识别出来的车、车牌子,变成了车子背面是黑乎乎的一片,这也是摄像头非常大的缺点。虽然摄像头技术发展很多,但是目前达到人眼的动态范围还完全不可能。很多公司会用宽动态,但是面对太阳直射仍然是无能为力。

  这是另外一个情况,左边的摄像头还可以,但是大家看这些白花花是什么东西?因为这个车不是无骨雨刷,刮不干净,虫子或者树胶用雨刷一刮就就出现了这些东西,影响到双目的信息采集。

  这是大雨的情况,因为雨点打在挡风玻璃上的时候,飞溅出来的水滴是不规则的,根本无法保证左摄像头和右摄像头看到是同一个东西,这里再次推荐大家一定要用无骨雨刷。同样的雾霾情况下摄像头也非常难工作。。

  刚才我们看到很多实例,在图像完好、天气完好情况下摄像头和双目能够工作很不错,但是在实际应用过程中会遭遇各种各样的挑战,为了克服这些问题我们付出了极大的努力。

  三、双目技术特点

  双目这么有特点的一个东西,但是在日常生活中接触到得却非常少。我觉得大家可以从这个角度想一想,为什么一个看上去很好的东西没有被普遍应用?

  微 软的Kinect原理就是利用双目,只不过一个是发射,一个是接收,基于Kinect有很多应用,比如体感等。但是自从微软有了二代以后就不开放一代的 SDK了,导致近年来基于Kinect做开发的越来越少。很遗憾,左边是一代,右边是二代,效果差别很大。一代是用双目原理做的,二代是用激光做的,这个 问题让我作为双目的人来说感觉很尴尬,因为其中有双目可能会被激光所取代的感觉。

  大 家可以仔细看看一代和二代的区别,左边图像右侧有很重的黑影,为什么?因为双目两个摄像头,一个物体在它跟前时,左摄像头看到的东西有可能在右摄像头看不 见,比如这支笔放在这里,左眼能够看到它的左边,右眼能够看到它的右边,右眼看不到它的左边。如果一个物体不能同时在右图和左图找到的话,双目测距是不成 立的。但是对于激光而言,就不存在这个缺陷。

  随 着技术的发展,用双目形成一个从远到近的图,这个图看起来非常好,从近到远很连续。但是左图中这个杆只有很细,在右边却这么大。用双目检测肯定会出现这样 的黑影,黑影露在那不好看,有一些算法会做补偿,把黑的地方给填上,比如用周边的东西做填充,这种类似的算法严格来说是一种作弊,因为实际上它是没有任何 道理的。

  这是汽车ADAS领域用双目做出来的效果,如果把真的实际图片拿过来的话看上去没有这么好看,然后通过一些算法把它补偿上去后大家感觉会好一点。

  双目是非常有特点的技术,它的优点和缺点非常明显,从优点上来说,第一、双目是比较便宜的技术,只比单目多了一个摄像头,摄像头目前也比较简单和便宜,双摄 像头拍照发展起来以后,硬件接入双摄像头会越来越方便。第二,它的分辨率越来越高,激光是64线,雷达就更少了,只有发射和接收的维度,摄像头就不一样, 至少可以比较好的勾勒出一个图形的轮廓。第三,易于部署,双目毕竟是摄像机设备固定在车上就可以了,不像雷达或者激光必须固定在车外,它固定在车内虽然会 有挡风玻璃造成的干扰,但是它毕竟可以固定在车内。

  以分辨率上来说,有车厂跟我研讨过一个问题:“为什么给车厂送测的毫米光雷达,如果前面的车子是运动的,它就能够很好的跟踪;如果车子停在路上不动就会撞上 去?”这个现象跟分辨率有关系,雷达发射一个波再回来,并不能很好的区分是路面还是汽车,路面和车都有回波,我的车比如是50公里,我检测到很多东西跟我 的相对速度是50公里,我就认为它是个固定的东西,如果我检测出是20公里的东西,那么它肯定在动,根据这样的逻辑来判断是路面还是车。特斯拉撞道路清扫 车,或者撞了停在路上的桑塔纳,很可能跟这个有关系。

  总结:

  总结一下双目的缺陷,第一,它易受干扰,第二,它远距离精确度非常低,第三,理论尚不完善,没有解决受到遮挡等问题。对于毫米波,因为毫米波雷达对金属体检 测比较多,一个人站在前面,毫米波雷达检测不到,这时候可以用双目的优势把人检测出来,并且摄像头的角度非常大,我们用的摄像头都是60度或者是90度 的,可以看到车子侧面的情况。对于单目的摄像头而言,单摄像头识别物体以后,双目可以帮助确定距离。一般识别技术都需要资料库里面有图像本身作为训练,为 什么很多产品不能在中国运用?因为中国路上稀奇古怪的东西太多了,对于这些稀奇古怪不能被识别的东西,双目能够很好的把它补充进来。

  在自动驾驶领域很多公司做了积极的尝试,优点、缺点目前比较清楚,我觉得双目在里面形成一个很好的补充,说不定是一个能够从成本上、开发难度上、性能上把大家短板补充的一个好选择。

责任编辑:范赫

新浪汽车官方微信

车型排行

  • *名:
  • *手机号码:
  • *所在城市:

*底价将以短信的形式发送到您的手机,个人信息不会泄露给第三方

  • *手机号码:

*订阅信息将以短信的形式发送到您的手机,个人信息不会泄露给第三方

×
  • *名:
  • *手机号码:
  • *所在城市:

华北
北京|天津|石家庄|济南|青岛|淄博|东营|济宁|菏泽
华南
广州|深圳|珠海|佛山|湛江|惠州|阳江|东莞|云浮|南宁
福州|厦门|南昌|景德镇|萍乡|新余|鹰潭|赣州|吉安|宜春
抚州|上饶|海口
华东
上海|杭州|宁波|温州|湖州|绍兴|南京|无锡|常州|苏州
南通|淮安|盐城|扬州|镇江|泰州|宿迁|合肥
华中
武汉|长沙|郑州|平顶山|商丘
东北
沈阳|大连|营口|长春|哈尔滨|齐齐哈尔|佳木斯
西南
重庆|成都|贵阳|六盘水|遵义|安顺|毕节|铜仁|都匀|凯里
兴义
西北
银川|乌鲁木齐|西安|咸阳|兰州

行业 | 新车 | 评测 | 导购 | 技术 | 行情 | 用车 | 报价 | 二手车 | 摩托车

精品标签 | 车型大全 | 图片 | 视频 | 微博 | 社区 | 自驾游 | 美女

手机新浪汽车
价格区间
0元
5万
8万
11万
15万
20万
25万
35万
50万
无限贵
选择品牌:
选择车系:
选择车型:
所在地:

真实姓名:

手机号码:

预约时间:

如有疑问,您可以拨打商家咨询热线:
博瑞祥云奥迪  400-669-2535
店面地址:奥迪A1-2011款奥迪A1 1.4T Ego
0