摘要：2019云栖大会大咖有约，斑马网络高级技术总监张燕昆带来“计算机视觉在智联网汽车领域的应用”的演讲。本文主要介绍了AR-Driving2.0产品的三个特性，并从AR-Driving立项开始谈起，讲解了AR-Driving项目遇到的问题，并对AR-Driving3.0作出了展望。

直播回放请点击

以下是精彩视频内容整理：

斑马主要是一个做智慧出行的智联网汽车技术公司。目前，自动驾驶异常火热，但是斑马做的事情与自动驾驶是有区别的，汽车摄像头有对外和对内的摄像头，对外摄像头有一个前视摄像头，我们不是去做安全域的ADAS，而是用行车记录仪的摄像头来做一些产品，另外还有倒车辅助用的前体360环视影像，我们利用360环视影像做智能辅助的东西。对内摄像头常见的是做DMS和Face ID。

AR-Driving

斑马在2017年从事AR-Driving的开发工作，在2018年产出了全球首款AR-Driving1.0产品，在2019年8月产出了AR-Driving2.0产品。
AR-Driving即所谓增强现实中的技术应用到增强导航中，简单的说，是将大家开车应用的地图导航的信息叠加成增强导航，2.0中还有增强的ADAS和增强的POI。

斑马AR-Driving2.0产品有三个features，AR-NAVI、AR-ADAS和AR-POI。增强导航就是，当大家开车开到很复杂的十字路口时，前面有左转、右转、前方、左前方、右前方，如果你是第一次开过去，传统导航提示你左前方时，你是很容易迷糊的，因为有6条岔路口，不容易变道，但是如果把传统导航和图像识别结合起来，我们做了一些地面语义分割，然后融合IMU信息做定位，就可以精确的把你引导过去；
AR-ADAS跟传统的ADAS差不多，但是我们更直观，我们把它放到AR这种方式来呈现，比如压线、前方车辆启动提醒、前方碰撞提醒，可以很直观的在视频上显示出来；AR-POI就是感兴趣点。我们是一个车联网公司，我们要做生态，我们还做了驾驶员的身份验证，即Face ID，比如你买车，上车后会自动识别是你开还是你爱人或是亲戚开，可能你喜欢星巴克的咖啡，你爱人喜欢Costa的咖啡，当你开车到了某条街，如果我们能自动判别是你还是你爱人开车，我们就可以把星巴克或者Costa的店很自然的推荐给你，这样我们就形成了一个生态闭环。

AR-Driving立项及遇到的问题

大家可能对自动驾驶比较感兴趣，早些年我们也做过自动驾驶，但是我们是创业公司，主要做产品，我们要保证做的东西能够迅速落地到产品上去，对于我们来说，计算资源是一个很大的瓶颈。2017年，我们做AR-Driving时，我们接到上汽的一款车，它所用的芯片是J6P，即双核+两个800M的DSP，其中一个DSP给360环视用掉了，剩给我们所有计算机只有一个DSP，一个DSP把AR-Driving做出来还是很难的，现在深度学习非常火，但是复杂的深度学习模型在这个配置下运行是不太现实的，我们巧妙的把传统的计算机视觉算法和深度学习算法做一个互补。

我们为什么没有做AR-Hud，而转而做AR-Driving，是因为AR-Hud的硬件不成熟，以及成本比较高，对于国内10-20W的车来说，成本特别高，所以AR-Hud大多都装配在豪华车上。上汽当时给我们的汽车只有行车记录仪的摄像头，要求我们做一个AR-Hud的东西，我们的产品就想到了折中方案，将AR-Hud的硬件拿掉，改为在仪表上进行显示，我们当时经过了多次讨论，还是接了这个项目，做这个项目遇到了很多瓶颈，比如将我们的算法一开始放到车上的平台上，每秒只能跑到3帧，相当于300ms，因为我们要达到实时处理，这对我们形成了巨大的压力，产品都到外面去找方案，把很多创业公司的算法拿过来做比较，评估后发现我们的硬件根本不能跑这些算法，主要是就是这些算法对硬件要求比较高。于是我们对自己之前的算法进行了大量的优化，还把TI的专家直接请到公司做培训，在TI芯片上进行算法优化。到2018年8月份，我们做出了Marvel X上的系统，很多人认为Marvel X只是一个噱头，因为它只是做了一些简单的导航，这是因为计算能力受限制，这款车一发布，在业界就引起了轰动，很多大公司都在跟随我们在做，有的做的很复杂，有的做了单独的盒子，车厂对成本是非常看重的，如果你想推一个上千块的东西，是很难的，我们给车厂做东西，都是车厂确定硬件，然后告诉我们要帮他们做什么，而不是我要做什么，车厂就会提供给我们什么样的硬件，尤其现在各大车厂都在降成本，这个情况就尤为突出，我们既要考虑技术的先进性，又要考虑技术能不能产品化。

AR-Driving的思考与展望

AR-Driving1.0一发布，在业界引起了轰动。上汽等其他车厂也意识到硬件资源问题，开始逐渐将一些硬件资源给了我们做AR DRIVING，我们自己也把360环视做了，这样就可以很好控制它的资源占用，对我们来说，两个DSP同时任我们切换调度，就可以最大化利用车厂给我们的硬件资源。于是，我们就从去年就开始做了AR-Driving2.0，并于2019年8月在上汽的一款车上正式发布了。
下一步我们想对存量车来做，现在芯片研发很热，阿里、华为等都积极研发并推出了一些芯片，车分为前装和后装，AR-Driving3.0偏向于后装，现在行车记录仪或后视镜的计算能力是很强的，AR-Driving3.0将会使用更多的目前流行的深度学习方法，AR-Driving3.0可以提供更加丰富的道路环境的语义信息，这些信息可以提供给图商做实时地图更新，同时我们我也可以做更加丰富的生态闭环。