自动驾驶一些问题点

自动驾驶一些问题点

汽车以太网如何影响ECU和传感器设计

概述

 自动驾驶一些问题点

 

 汽车以太网不是一项新技术。但在几年前,却很新,以至于没有人知道,是否可以集成到汽车中。虽然,搭载车载以太网技术的汽车已经量产,但是,关于车辆 ECU 和传感器如何受该技术影响的问题仍然存在。汽车以太网如何影响 ECU 和传感器的硬件部分。在硬件方面,主要讨论 PCB、 PCB 上的芯片、连接器、电缆以及不同的芯片、微控制器、DSP等。对不同的硬件组件进行一个概述。

为了更好地理解不同组件的硬件架构( ECU 和传感器)如何受到汽车以太网的影响。定义了一个具体的应用程序示例,更好地了解整个故事的开始以及该应用程序如何影响车辆 ECU 和传感器的硬件架构。
将基于带有汽车以太网的高级驾驶辅助系统,对整个车载网络进行概述。

自动驾驶一些问题点

 

 图1 带有汽车以太网的ADAS

一般在ADAS系统中,主要有三种类型的传感器——用于视觉的摄像头传感器、用于距离检测的雷达传感器和用于道路上不同物体大小的激光雷达传感器。可以使用不同的以太网技术,用于将这些传感器集成到 ADAS ECU。
ADAS实际上是负责处理来自不同传感器的所有数据的感知过程,决定由哪个 ECU做出关于车辆运动控制的决定。这是将要做出的决定,例如,如何控制车辆的制动系统、车辆的动力系统以及车辆的转向系统,ADAS ECU实际上是高级辅助驾驶系统的大脑。

如果司机在开车,当司机犯错时,ADAS ECU 将负责纠正这些错误。例如,如果司机忘记刹车,如果前方有障碍物,ADAS ECU 将检测该障碍物,然后执行车辆运动控制,使车辆能够及时刹车,避免与位于车辆前方的障碍物发生碰撞。

ADAS ECU 上的传感器

看看传感器。拥有三种不同类型的传感器。对于视觉,有摄像头传感器。摄像头传感器是为了检测物体,将图片发送到 ADAS ECU,执行图片识别和处理算法,以便准确检测环境中的物体,道路上的物体,车辆路径上的物体。

最重要的是摄像头传感器会检测到对ADAS ECU有用的物体。在前部有一个摄像头,在右侧和左侧也有一个摄像头,在后侧还有一个摄像头,提供车辆的全景视图,这是一个关于 ADAS ECU 的过程。
在车辆顶部还有一个摄像头传感器,检测道路上很远距离的物体。距离很远的小物体,可以通过摄像机传感器的视频检测到。可以有宽视野传感器,以检测交通标志等,或道路上的一些行人。

只解释了一个传感器,但实际上,车辆上的这个位置可能有多个摄像头传感器。
除了视觉、检测模式外,还有负责距离检测的雷达传感器。通过天线发射毫米波等,在障碍物上反射后,反射波会被雷达预处理,检测不同的位置,放入传输到 ADAS ECU 的以太网帧中。可以访问、评估和分析该车辆与其他车辆或其他道路参与者间的距离,帮助 ADAS ECU 做出有关车辆运动控制的正确决策。

大多数时候在同一辆车上安装不同类型的雷达传感器。为了在车辆上具有不同的感应能力,有远程雷达传感器、中程雷达传感器以及短程雷达传感器,具体使用哪种传感器,取决于将要检测到的内容。
所以,在图1中,在前面有两个雷达传感器,一个在右侧,另一个在左侧。并且在后部也有相同的配置,而且在中部,也有相同的配置。当然这只是一个例子,实际设计时,取决于要在车辆中实现的功能和功能要求来配置雷达传感器的数量及位置。

自动驾驶需要更多的传感器,甚至可能是两个 ADAS ECU。仅谈论驾驶员辅助系统,以便对网络的外观进行概述。
还有基于点云的激光雷达传感器。激光雷达传感器可以评估或测量道路上不同物体的体积大小。ADAS ECU 需要这些信息,以便能够了解道路上正在发生的事情、当前情况、驾驶情况道路等,相应地控制车辆。
因此,激光雷达传感器可以位于角落,如在图1中,在两个角落,在右侧和左侧。右左两个角的后部是相同的配置。
在需要在车辆中安装不同的传感器集群,向 ADAS ECU 发送不同的数据类型。接下来谈一下传感器和ECU之间的连接以及这样的星形拓扑,有些人称为树拓扑。
汽车以太网的优势之一是使用不同的数据传输速率。这里使用不同颜色来区分数据速率的原因。不同的传输速率使汽车以太网技术的扩展性非常强,以满足处理网络内部数据的需要。
图1中以棕色表示1000 BASE-T1 技术,以太网数据以每秒 1 Gb 的速率传输。蓝色表示 100 BASE-T1,表示以太网数据以每秒 100 Mb的速率传输。这里有不同的数据速率。
这种不同的数据速率会对 ADAS ECU 的硬件架构产生影响,需要了解网络架构的原因。ADAS ECU 如何设计,取决于该 ADAS ECU 如何连接到集群中的其他组件。
网络会对摄像头/雷达/激光雷达传感器的硬件架构产生影响。接下来谈谈以太网技术如何影响硬件架构。

传感器 & Eth

概述
将直接进入 ECU 和传感器的硬件架构,从雷达传感器开始。如图2所所示,这里的雷达传感器由两个主要芯片组成。

自动驾驶一些问题点

 

 图2 雷达传感器硬件架构

上图是雷达传感器硬件架构的一个整体视图,包含雷达ASIC以及微控制器。当然,微控制器可以是 DSP,可以是FPGA 之类的东西。但在这里仅展示这种组件硬件架构之外的逻辑。
图2中的雷达ASIC是专用集成电路,该电路肯定连接到天线,天线负责发射雷达无线电波,负责接收反射无线电波,这里的波都是电磁波。
当电磁波到达雷达 ASIC 时,会被转换为电信号。这些电信号被转换为数字信号,在传感器检测到的位置之前,有一个预处理机制在雷达 ASIC 中运行,将数字信号通过 SPI 接口传输到微控制器。

检测和测距
看一下检测和测距和过程,结果数据会发送到目标控制器。微控制器通过SPI接收的数据可以使用 DMA 来存,节省CPU资源的消耗,SPI 控制器可以直接将数据存储在 DMA 中。当无法将数据存储到存储器中时,CPU 应该参与启动过程。这里应该使用中断控制器来阻止 CPU 执行当前正在执行的操作。以便 CPU 将到达的数据存储到运行内存中,这取决于应用程序、CPU的速度以及CPU 的负载情况。可以使用不同的方式( DMA 或 RAM 存储器)存储,雷达 ASIC 的数据。

当使用存储数据的运行内存时,SPI 控制器将向中断控制器发送中断请求,中断控制器会发送一个电信号来停止 CPU,这样CPU就会运行相应的中断服务程序,实际上是存放在闪存中。
当准备好位置数据时,会发送到 MAC,这就是跟以太网相关的地方,MAC 是主要的访问控制器。有很多关于 MAC 地址等的信息。MAC 地址实际上是物理地址,以便为以太网控制器寻址。所以这里的 MAC用于负责构建以太网帧。
MAC 控制器将向 PHY 发送以太网帧,PHY 实际上是收发器。与CAN做比较,MAC就是控制器,PHY就是收发器,类似于CAN通信的控制器和收发器。
这里将以太网具体分离为 MAC 和 PHY 以及 MII 接口。MII接口是一个独立接口,不依赖于所使用的具体以太网技术。如果在这里使用光纤,从一个连接器(图2左侧)到另一个连接器的话,这个接口将不依赖于另一个接口,将始终是相同的接口(MII 接口)。
MAC不取决于 LAN 的外观,例如,电缆的外观、连接器的外观等等。不真正依赖于所使用的真正技术。MII接口取决于Bit的速度,数据传输速度,取决于数据在 LAN 上传输的速度。

以每秒百兆位的范围传输,MII 接口应该能够以每秒百兆位的速度传输数据。

PHY
有一个物理层PHY,PHY 用于保留永恒帧,然后 PHY 会放置一些装备,例如前导码等,以便与接收器同步。这个 PHY 将负责Bit的物理编码,这些Bit将被转换成模拟电信号,向下传输到 LAN。
这里有一个主要的依赖接口,即依赖于以太网技术的电路,用于传输数据。这个主要的依赖接口实际上是一个普通的接口。如共模扼流圈等。
共模扼流圈用于简单地抑制电磁干扰或噪声,可以使用一些过滤器积极过滤信号。这可能会在 MDI 中实现,具体取决于信号传输的频率。

连接器
图2中有连接器。连接器在此处显示两个引脚。表示一个带有两个针脚的连接器,以太网正负号,以及每根双绞线的信号。这里可以使用多种类型的连接器,如用于处理数据传输到双绞线的磁性连接器。
如图2所示,使用全双工通信,发送器(即与 ADAS ECU 相连的雷达传感器)可以传输电信号,其他 ECU 可以将信号传回。

可以在同一条线路上进行反向定向通信。这里没有电缆屏蔽,每根单绞线用于每秒 100 MB 的数据传输,这是以太网上 100 BASE-T1 技术的典型示例。
除了MAC、 MII 接口、 PHY以及MDI 接口连接连接器和电缆外,剩下的取决于与以太网无关的传感器技术。

ECU & ETH

ADAS ECU 概述

如图3所示为ADAS ECU,图中有摄像头传感器,可以传输图片或视频数据。图3中还有一个接口,PCIe控制器接口,因为PCIe接口可以更快地传输大数据。与雷达传感器相比,摄像头的数据量大很多。

自动驾驶一些问题点

 

 图3 ADAS ECU

成像仪实际上是将光转换为电信号,这种电信号也转换为数字信号,这样信号就可以被微控制器处理了,存储数据与雷达传感器情况相同。ADAS ECU 的传输和 LAN,与雷达传感器相同的组件。每秒 1 Gb 的速度传输数据红色全双工。MII 在 MAC 和 PHY 之间的干扰具有每秒1 Gb的数据速率。对于雷达传感器,MII 接口应具有每秒 100 Mb的数据速率。应该在 MII 接口上将 MAC 和 PHY 间的数据速率缩短一半。
上图中,比传感器架构复杂得多。在 ADAS ECU 上会有不同的芯片,有一个以太网交换机、一块PCB以及微控制器。可能是一个 DSP,也可能是一个 FPGA。

连接器与交换机

连接到拥有的传感器的连接器。另一部分负责通过微控制器进行数据处理,位于微控制器芯片中的 CPU。该 CPU 将运行传感器数据融合过程,该过程将运行 AI 算法等,所有 ADAS ECU 的大脑。
当然,许多进程都运行在软件中,这些软件会中断控制器以处理 CPU 运行的不同任务。如果想优化一切,可以使用 DMA执行存储,无需 CPU 参与。

在微控制器中发生的事情,用于处理一切。但是在传感器和处理实体的接口间,有很长的路要走。此路径由不同的以太网交换机构成。交换机实际上是在 PCB 上构建的芯片,用于转发传感器的数据。
一个交换机可以有多个端口,以具有六个端口的交换机为例。总共有 15 个传感器向 ADAS ECU 发送数据,需要 15 个连接器。
为了有连接这15 个连接器,有三个交换机连接这些传感器。将5个摄像头传感器、5个激光雷达、5个毫米波雷达连接到 ADAS ECU。
交换机包含一个 PHY,将数据转发到处理实体的方向。来自 5 个雷达传感器的数据将保留在交换机上。这里会有一个MAC实体转发到下一个交换机,这将被转发到 PCIe 接口到处理实体(微控制器)。对于其他交换机是相同的。

在 PCB 上,对于两个芯片之间的通信,PCB 上需要两个以太网交换机,需要类似 MII 的接口。在 PCB 上需要有接口将这两个交换机连接到 MAC。使用类似 MII 的接口,这对于另外两个交换机和本交换机之间的链路相同,但是,重要的是要了解实际使用的 MII 接口类型。
图3中,有五个雷达传感器传输数据,数据速率为每秒 100 Mb,所以每秒有500 Mb数据进入交换机。如果MAC使用每秒100 Mb 的普通 MII 接口,会遇到交通堵塞。因为每秒有 500 Mb进入,每秒只有 100Mb输出。输入比输出快,将在交换机内部遇到越来越多的交通拥堵。
交换机内部存在日益拥堵的风险,雷达传感器的重要数据会丢失。交换机出现拥塞丢失是完全不能接受的。这里使用 GMII 接口,数据速率为每秒 1Gb,这比每秒 500 Mb 快两倍。非常确定将避免或至少减少这里的交通拥堵。这样就不需要那么大的buff内存来阻止流量。
以摄像头传感器为例,如果使用千兆以太网,就意味着会以每秒 5 Gb的总体速度输入到下一个交换机,这是可能的五个传感器同时发送数据。
如果这里有 5 Gb/s,就不能再使用 GMII 接口,因为输出只有 1 Gb/s。如果使用它,将获得每秒 5 Gb的总输入,但总输出为每秒 1 Gb,肯定会造成堵塞。所以需要使用 XFI 供应接口来实现每秒 10 Gb的数据速率。
为什么是 XFI?为什么这里每秒 10 Gb?当前没有任何基于以太网的技术可以实现10Gb每秒的传输,必须在这里使用 XFI 接口以每秒 10 Gb的速度传输数据。

微控制器与交换机

如图3 含有PCIE接口的交换机所示,这里有1个每秒 1 Gb 的输入数据作为输入,2个每秒 10 Gb作为输入,每秒总共有 21 Gb的整体数据速率作为输入。所以这时,不能在交换机和微控制器之间的使用XFI 接口。
因为每秒有 10 Gb的输出,但是有每秒 21 Gb的输入,这也会造成堵塞问题,有堵塞风险和缓冲区溢出风险。所以这就是这里使用 PCIe 5.0 ,数据速率大于 22 Gb/s。
ADAS ECU的硬件架构依赖于网络架构。在设计之前,了解将与多少个传感器通信的 ADAS ECU 非常重要。
实际上,这里是在不知道不同接口上的带宽占用情况时做出这样的决定。这基本上是大部分时间发生的事情。如果考虑每个雷达传感器以每秒 5 Mb的带宽利用率发送数据的情况。数据速率是每秒百兆位。使用的可用带宽仅为每秒 5 兆位。
因此,雷达传感器仅使用该带宽的 5%。接下来会发生什么呢?在交换机上的总体带宽利用率为每秒 25 Mb。在这种带宽利用率为每秒 25 Mb的特定情况下,使用每秒 100 兆比特的普通 MII 接口就可以了。因为整体带宽利用率仅为线路的25%。所以会很好。
这里有一个例子,考虑一下。到处都有千兆以太网。所以在这里使用 GMII 而不是 XFI 有 500 兆比特每秒。如果知道带宽利用率,这将是任何问题。如果有,也可以在这里使用 GMII。
在进行车辆硬件架构进行设计时,应避免在网络内使用非常大的 buff 内存等情况的发生。需要先对汽车网络进行了解,汽车网络技术将会影响到汽车ECU和传感器的硬件部分。

SI 自动设计优化 - HyperLynx DSE

 

 自动驾驶一些问题点

 

 在传统的SI优化流程中,工程师往往需要进行大量的参数扫掠,或者使用复杂而有又难以使用的MDO(多领域优化)工具进行优化分析,从而导致设计周期延长或无法在有限的时间中确定最优的设计变量。

 自动驾驶一些问题点

 

 为了解决以上的问题,西门子EDA推出了全自动的HyperLynx -Design Space Exloration(DSE)优化流程,协助工程师快速而又准确得确定设计参数。HyperLynx DSE 与西门子 HEEDS MDO 工具紧密集成,利用了 HEEDS 领先行业的 SHERPA 混合优化算法,将SI 设计中的变量优化步骤变成了一个全自动的流程,这样工程师不在需要进行大量、长时间的变量扫掠,不需在传统的MDO 工具中配置搜索策略、多次调整选择的算法进行迭代,不需要使用使用设计空间采样(DOE)或曲面拟合(RSM)等方法简化仿真模型以得到更快的仿真速度。

 自动驾驶一些问题点

 

 自动驾驶一些问题点

 

 在本次会议中,将通过两个简单的例子演示 HyperLynx DSE 的工作流程。

首先,将搭建一个简单的SerDes 通道,进行COM 仿真,通过对传输线模型中几个变量的调整优化总体的 COM 仿真结果。

 自动驾驶一些问题点

 

 HyperLynx DSE 同样支持对于电磁仿真模型优化。在下面的案例中,将创建一个参考Hatch Plane的差分传输线模型,然后进行3D EM 仿真求解。通过自动优化流程确定最佳的线宽和线距,来得到最佳的插入损耗和回波损耗结果。

 自动驾驶一些问题点

 

 通过先前的仿真结果,在 HEEDS 还可以建立高精度的替代模型,进行大规模的性能分析。替代模型能够大大加速仿真的速度,可以在不损失精度的前提下,评估量产时PCB 的SI 相关性能是否能达到预期。

介绍 HyperLynx 新版本中推出的AMI Optimizer自动优化功能。针对不具备自适应优化算法的IBIS-AMI 模型,工程师可以快速确定正确的抽头系数、增益、滤波器零极点等参数。

西门子EDA 希望能帮助客户进一步提高设计效率。通过HyperLynx DSE 流程,帮助客户能够更快、更好得实现产品设计。

长颈鹿检测:Heavy Neck的目标检测框架

传统的目标检测框架中,从图像识别模型继承的主干网络提取深度潜在特征,然后neck模块融合这些潜在特征,捕获不同尺度的信息。

前言

由于目标检测中的分辨率比图像识别中的分辨率大得多,因此主干的计算成本通常会主导总推理成本。

这种沉重的主干设计范式主要是由于将图像识别模型转移到目标检测时的历史遗留问题,不是目标检测的端到端优化设计。研究者表明这种范式确实导致了次优的目标检测模型。提出了一种新的Heavy Neck范式GiraffeDet,这是一种用于高效目标检测的类似长颈鹿的网络。GiraffeDet使用轻量级的主干和非常深且大的neck部模块,鼓励不同空间尺度之间的密集信息交换以及同时不同级别的潜在语义。

 自动驾驶一些问题点

 

 这种设计范式允许检测器即使在网络的早期阶段也能以相同的优先级处理高级语义信息和低级空间信息,在检测任务中更加有效。对多个流行的目标检测基准的数值评估表明,GiraffeDet在广泛的资源限制条件下始终优于以前的SOTA模型。

相关背景

为了缓解大规模变化问题,一种直观的方法是使用多尺度金字塔策略进行训练和测试。(Singh & Davis, 2018【An analysis of scale invariance in object detection snip】)的工作在图像金字塔的相同尺度上训练和测试检测器,选择性地反向传播不同大小的目标实例的梯度作为图像尺度的函数。尽管这种方法提高了大多数现有基于CNN的方法的检测性能,但不是很实用,因为图像金字塔方法处理每个比例图像,这在计算上可能是昂贵的。此外,当使用预训练的分类主干时,分类和检测数据集之间的目标规模仍然是域转移的另一个挑战。或者,提出了特征金字塔网络来逼近具有较低计算成本的图像金字塔。

最近的方法仍然依赖于优越的主干设计,但高级特征和低级特征之间的信息交换不足。例如,一些工作通过自下而上的路径增强在较低层中使用准确的定位信号增强了整个特征层次结构,但是这种自下而上的路径设计可能缺乏高级语义信息和低级空间信息之间的交换。针对以上挑战,本任务提出以下两个问题:

  • Is the backbone of the image classification task indispensable in a detection model?
  • What types of multi-scale representations are effective for detection tasks?

新框架方法

尽管已经进行了广泛的研究有效的目标检测,但大规模变化仍然是一个挑战。为了有效地实现充分的多尺度信息交换的目标,研究者提出了用于高效目标检测的GiraffeDet,“giraffe”由轻量级空间到深度链、广义FPN和预测网络组成。总体框架如下图所示,在很大程度上遵循单阶段检测器范式。

 自动驾驶一些问题点

 

 LIGHTWEIGHT SPACE-TO-DEPTH CHAIN

大多数特征金字塔网络都应用传统的基于CNN的网络作为主干,提取多尺度特征图,甚至学习信息交换。随着CNN的发展,最近的主干变得更加沉重,使用计算成本很高。

 自动驾驶一些问题点

 

 Space-to-depth chain

此外,最近应用的主干主要是在分类数据集上预训练的,例如ResNet50在ImageNet上预训练,认为这些预训练的主干不适合检测任务,仍然是域转移问题。或者FPN更强调高级语义和低级空间信息交换。因此,假设FPN在目标检测模型中比传统主干更重要。

 自动驾驶一些问题点

 

 空间到深度转换的图示,S2D操作将激活从空间维度移动到通道维度

GENERALIZED-FPN

 自动驾驶一些问题点

 

 在特征金字塔网络中,多尺度特征融合旨在聚合从主干中提取的不同分辨率的特征。上图显示了特征金字塔网络设计的演变。传统的FPN引入了一种自上而下的路径来融合从第3级到第7级的多尺度特征。考虑到单向信息流的限制,PANet增加了一个额外的自下而上的路径聚合网络,但计算成本更高。此外BiFPN删除了只有一个输入边的节点,在同一级别上从原始输入中添加额外的边。然而,观察到以前的方法只关注特征融合,但缺乏内部块连接。因此,设计了一种新的路径融合,包括跳层和跨尺度连接,如图(d) 所示。

 自动驾驶一些问题点

 

 跳层连接。与其他连接方法相比,跳跃连接在反向传播过程中特征层之间的距离较短。为了减少如此沉重的“长颈鹿”颈部的梯度消失,提出了两种特征链接方法:提出的GFPN中的Dense-Link和log2n-Link,如上图所示。

 自动驾驶一些问题点

 

 PANet与GFPN中的Queen-fusion 之间的跨尺度连接示意图。S和C表示求和和级联融合风格,Pk表示下一层的节点。

实验及可视化

 自动驾驶一些问题点

 

 自动驾驶一些问题点

 

 自动驾驶一些问题点

 

  

 

参考链接:

https://mp.weixin.qq.com/s/RziZPnQQBuHWlX8y6TrOsA

https://mp.weixin.qq.com/s/-oPdyQukViosZBuAFJ5ljA

https://mp.weixin.qq.com/s/h0nVI4yUlTU_rrAzsg6JTg

上一篇:SVN二次开发——让SVN、TSVN(TortoiseSVN)支持windows的访问控制模型、NTFS ADS(可选数据流、NTFS的安全属性)


下一篇:在IT资产生命周期中节省成本的4种方法:2 分发