在上一讲《Coursera自动驾驶课程笔记(7):Vehicle Lateral Control》中我们了解了如何使对汽车进行
横向控制
。本课程第一个篇章就告辞段落了,接下来我们开始学习新的篇章。
课程第二个篇章是状态估计和定位模块
。不过在这里我做了一下调整,我们先学习视觉感知
模块,即计算机视觉
在自动驾驶中是如何应用的。
B站视频链接:https://www.bilibili.com/video/BV1PE411D72p
文章目录
1. The Camera Sensor
1.1 Overview
从这一讲开始,我们将学习新的篇章。我们将会了解计算机视觉领域的一些主要概念,包括相机模型及其校准,单目和立体视觉,投影几何和卷积运算
等。
目前自动驾驶行业中的大多数公司在其车辆传感器套件中都将摄像头作为其主要传感器
。摄像头是一个丰富的传感器,可以捕获有关车辆周围的环境细节。
摄像头捕获的外界信息对于场景理解任务(例如对象检测,分割和识别)
特别有帮助。 外界信息使我们能够区分道路标志
或交通信号灯
状态,跟踪转向信号并将重叠的车辆分解为单独的实例。 由于其高分辨率输出,与自动驾驶中使用的其它传感器相比,该摄像机能够收集并提供丰富的信息,同时价格相对也不高。
下面提供两个图片数据链接:https://www.shutterstock.com/image-photo/busy-traffic-during-rush-houramsterdam-
1069610642?src=bLnVCTgF8bcUNe81sHDlVw-1-39
摄像机链接:https://www.shutterstock.com/zh/video/clip-1022389735-camerarepair-sensor-digital-close-up-matrix
1.2 Pinhole Camera Model
下面我们介绍针孔相机模型
,用于描述外界中的某个点与其在图像平面上投影之间的关系。
针孔相机模型中两个最重要的参数
是针孔与图像平面之间的距离
,我们称为焦距
,焦距定义了投射到图像上的物体的尺寸,并且在相机对焦时起着重要作用。针孔中心的坐标,我们称为相机中心
。尽管针孔摄像头模型非常简单,但是它在表示图像创建过程中却表现出色。
通过确定特定相机配置的焦距
和相机中心
,我们可以数学描述世界上某个物体发出的光线撞击图像平面的位置。*模型的一个历史示例是摄像机暗箱
。它的结构简单,在成像表面的前面有一个针孔,可以很容易地重建图像,实际上,如果倾斜的话,这是观看日食的方法。
1.3 Modern Day Cameras
自从相机暗箱发明以来,相机发展走了很长一段路。当前的相机使我们能够收集极高分辨率的数据。
相机传感器的分辨率和灵敏度不断提高,使相机成为地球上最普遍使用的传感器之一。你拥有几台相机呢?如果你停止统计所有这些,你会感到惊讶。你的手机,汽车,笔记本电脑中都配备摄像头,这些摄像头几乎无处不在。