智能驾驶技术依赖于多种传感器来实现车辆的安全和有效操作。传感器主要包括感知类传感器、定位类传感器，能够收集周围的信息，包括其他车辆的位置和速度、行人、道路标志、交通灯状态和道路边界等，这些信息经过处理后，为系统提供了准确的环境模型和动态变化的数据，使得车辆能够“看到”并“理解”其所处的环境。在自动驾驶系统中，传感器大致可以分为两类：感知类和定位类。
⚫ 感知类传感器的主要任务是收集车辆周围环境的信息，它们相当于车辆的“眼睛”和“耳朵”，帮助车辆“看到”和“听到”周围的世界，包括摄像头、超声波雷达、毫米波雷达、激光雷达（LiDAR）等。
⚫ 定位类传感器是一类用于测量和确定物体位置、方向或运动状态的传感器。这些传感器通常能够提供有关物体在三维空间中的坐标、方位、速度和加速度等信息，包括 GPS、IMU 等。
感知类传感器
传感器是自动驾驶感知层的核心硬件，主要利用车载摄像头、激光雷达、超声波雷达、毫米波雷达等对车辆周边的环境进行实时感知。各自有独特的工作原理和作用，通过它们的数据融合，可以显著提高环境感知的准确性和可靠性。
主流车型上的感知类传感器类型
摄像头
摄像头在环境感知中的作用是提供视觉信息，如识别交通标志、信号灯、行道线等。通过图像处理和计算机视觉技术，可以实现对环境中物体的分类和识别。摄像头通过捕捉光线形成图像，这些图像能够提供丰富的颜色和纹理信息，帮助系统理解环境特征。根据摄像头安装位置及其视野不同，一般分为前视、后视、环视、侧视以及内视摄像头。
摄像头探测范围
ADAS 主要摄像头应用
前视摄像头一般在风挡玻璃、内后视镜处，用于前向驾驶辅助的摄像头，主要是为了识别前方的道路车辆行人。图像传感器与 DSP 扩展的双核 MCU 配合，提供传入视频帧，进行图像处理，对道路前方情况进行监测，可以实现 FAM、LDW、ACC 等辅助驾驶功能。前视摄像头常见是单/双目摄像头，双目测距性能更好，但算法更复杂、价格更高。前视摄像头处的摄像头数量并不固定，比如特斯拉，配置了三个摄像头：
⚫ 前视窄视野摄像头，最大监测距离 250 米；
⚫ 前视主视野摄像头，最大监测距离 150 米；
⚫ 前视宽视野摄像头，最大监测距离 60 米。
前视摄像头是 ADAS 的核心摄像头，涵盖测距、物体识别、道路标线等，因此算法复杂，门槛较高。
特斯拉 Model 3 挡风玻璃后的三个前视摄像头
环视摄像头一般指安装在车辆前后车标或附近以及左右后视镜，主要用于识别停车通道标识、道路情况和周围车辆状况。环视摄像头使用多个摄像头的图像进行拼接，可以为车辆提供 360 度成像。现阶段，前视与环视是最广泛的摄像头应用。
大陆集团的 2019 年推出的一款前视+360 度可视的多摄像头集成系统
侧视摄像头一般安装于左右后视镜处或下方车身处，主要用于 BSD（Blind SpotDetection，盲区监视系统）。根据安装位置可以实现前视或后视作用。目前大部分主机厂会选择安装在汽车两侧的后视镜下方的位置。未来可能会将传统的光学后视镜用摄像头取代，变成应用 CMS 摄像头的电子后视镜。
内置摄像头无固定位置，方向盘中、内后视镜上方、A 柱或集成于仪表显示屏处均有。车内摄像头 DMS（Driver Monitoring System，驾驶员监控系统）是一种安装在汽车内部的摄像头系统，旨在监控驾驶员的状态和行为，以提高驾驶安全性和舒适性。DMS 通常采用计算机视觉技术来识别和分析驾驶员的面部特征和行为，以检测驾驶员的疲劳、分心、打哈欠、闭眼、低头看手机等异常行为，并提供及时的警告或干预措施。
内置摄像头
摄像头目前是自动驾驶中最主流的传感设备，在自动驾驶的应用中具有采集信息丰富、分辨率高、成本低的优势，然而也存在受光照和天气影响、对算法要求高等问题。摄像头可以提供丰富的视觉信息，包括颜色、形状、纹理等，能够对周围环境进行更为直观和全面的感知，且具有很高的分辨率，能够捕捉到细微的细节和特征，有助于对道路标志、行人、车辆等目标进行精确识别。相比于一些其他传感器如激光雷达、毫米波雷达，摄像头的成本相对较低，使其成为实现自动驾驶的经济有效选择。然而，摄像头在恶劣的光照条件下（如强烈阳光、雨雪、雾等）容易受到干扰，降低图像质量和识别准确度。由于道路上的环境复杂多变，摄像头对于目标的识别和跟踪需要更复杂的算法和处理技术，对系统的计算资源和处理能力要求较高。
超声波雷达
超声波雷达主要用于近距离物体检测和测距，主要用于停车辅助、低速碰撞避免等场景。它对于小物体和近距离障碍物特别有效。超声波雷达通过超声波发射装置向外发出超声波，并通过接收器接收到发送过来超声波时的时间差来测算距离。目前，常用探头的工作频率有 40kHz, 48kHz 和 58kHz 三种。一般来说，频率越高，灵敏度越高，但水平与垂直方向的探测角度就越小，故一般采用 40kHz 的探头。超声波雷达防水、防尘即使有少量的泥沙遮挡也不影响。探测范围在 0.1-3 米之间，而且精度较高，因此非常适合应用于泊车。
常见的超声波雷达有两种，UPA 和 APA。UPA 通常安装在汽车前后保险杠上作为倒车雷达，其探测距离一般在 15~250cm 之间，主要用于测量汽车前后方的障碍物。APA 通常安装在汽车侧面，用于测量侧方障碍物距离，探测距离一般在 30~500cm之间。APA 的探测范围更远，因此相比于 UPA 成本更高，功率也更大。
超声波雷达具有成本低、适用于近距离探测等优势，适用于一些低成本、近距离探测的应用场景，例如自动泊车，然而其探测范围有限、易受环境影响以及分辨率较低等劣势也需要考虑。超声波传感器成本只需要几元人民币，在近距离探测方面表现良好，通常能够精确地测量距离，并且在距离较近的情况下具有较高的分辨率。与光学传感器相比，超声波传感器不受光照条件的影响，因此可以在光照较弱或全黑的环境下正常工作。然而，超声波传感器的探测范围相对较短，通常在几米到十几米之间，因此在远距离目标探测方面表现较差。同时，其性能易受环境因素的影响，如温度、湿度和空气密度等因素可能影响超声波的传播速度和反射特性，从而影响传感器的测量精度。超声波传感器在目标识别和分类方面的分辨率相对较低，难以区分不同类型的目标，特别是在复杂环境下。
超声波雷达实现自动泊车功能
激光雷达
激光雷达（LiDAR）主要用于提供高精度的距离测量和三维空间信息，能够精确识别和定位道路上的车辆、行人、障碍物等，特别是在复杂的交通环境中。激光雷达通过发射激光束并测量其返回的反射信号来获取物体的距离和位置，然后将这些数据转换为离散的三维坐标点，形成点云数据。点云数据通常以直角坐标系表示，每个点都对应着空间中的一个位置，并包含有关该位置的附加信息，如反射强度、法向量等。通过对点云数据进行处理和分析，可以实现对周围环境的感知和理解，包括识别障碍物、建筑物、道路标记等目标，从而支持自动驾驶、机器人导航、地图构建等应用。这些点云数据合在一起可以构建出环境的三维模型。
激光雷达探测范围
激光雷达具有分辨率高、精度高、三维感知、数据密度高、不受光照影响的优势，适用于处理近处高精度的建模，劣势在于其成本高昂、有盲区、物体识别能力较差。由于激光波长比毫米波短 3 个数量级，因此分辨率精度比毫米波强很多，可以清楚地识别周围的车辆、行人与障碍物。
激光雷达可以提供非常精确的距离测量，通常能够达到亚厘米级别的精度，并提供精确的三维环境地图，包括障碍物的高度、形状和位置等信息。与摄像头不同，激光雷达不受光照条件的影响，因为它是通过测量激光的反射来工作的。这使得它在夜间或恶劣天气条件下也能够正常工作。激光雷达能够以高频率采集数据，产生高密度的点云，从而提供更加详细和准确的环境信息。
激光雷达会因为发射角度和方向存在一定的视野盲区，因此通常需要和其他传感器配合使用。激光雷达的工作原理导致其在某些情况下会有盲区，比如在高速移动时可能会因为激光束的角度限制而无法完整地探测到障碍物。激光雷达主要提供距离信息，对于物体的识别能力相对有限，通常需要与其他传感器如摄像头配合使用才能实现更准确的目标识别和分类。
激光雷达扫描感知图
毫米波雷达
毫米波雷达主要用于测量物体的距离和相对速度，主要用于自适应巡航控制（ACC）和碰撞预警系统。毫米波雷达是一种利用毫米波进行探测的雷达系统，其工作原理主要基于雷达的发射、接收和信号处理过程。毫米波雷达系统首先通过天线发射一束毫米波信号。这些毫米波信号具有很高的频率，通常在 30 GHz 到 300 GHz 之间，波长很短，约为 1 毫米到 10 毫米。
发射的毫米波信号在空间中传播，遇到目标物体时会一部分被反射回来，在这个过程中，出现多普勒效应，即当物体与车载传感器相对运动的时，反射波的频率会发生变化。当物体靠近车辆的时候，频率会增高；物体远离车辆的时候，频率会降低。通过测量反射波的频率差，我们可以得到目标物的速度。因此，接收天线接收被目标反射回来的毫米波信号，包括了目标物体的距离、速度、角度等信息。接收到的毫米波信号经过信号处理单元进行处理。这个处理过程包括了对信号的放大、滤波、时域分析和频域分析等步骤。通过对接收到的信号进行处理，可以提取出目标物体的距离、速度和方向等信息。总的来说，毫米波雷达通过发射和接收毫米波信号，并对接收到的信号进行处理和分析，可以实现对目标物体的距离、速度和方向等信息的检测和识别。这种工作原理使得毫米波雷达在自动驾驶、车辆防撞、安全监测等领域有着广泛的应用。
毫米波雷达的工作原理
毫米波雷达具有全天候性、长距离探测能力、高精度和穿透性强等优势，尤其在自动驾驶、车辆防撞等领域有着广泛的应用。毫米波雷达作为主动感知设备不受光照条件的限制，可以在白天、黑夜以及恶劣天气条件下（如雨雪、雾霾等）正常工作，因此具有全天候性，相比于红外传感器和超声波传感器，毫米波雷达具有更远的探测距离，通常可以探测数百米甚至几公里之外的目标，这对于远距离目标探测和追踪具有明显优势。毫米波雷达具有较高的测量精度，能够提供较准确的目标位置和速度信息，尤其在对小目标的探测方面表现优异。与光学传感器（如摄像头）相比，毫米波雷达不受光照强度、方向和波长等因素的影响，因此在复杂光照条件下具有稳定的性能。毫米波信号在大气和某些物质（如雨雪、雾霾等）中的穿透性较好，因此毫米波雷达可以检测被遮挡的目标，对于目标检测和定位具有一定的优势。
毫米波雷达测量效果
然而，传统毫米波雷达（3D 毫米波雷达）分辨率相对较低、高度测量能力不佳、目标识别能力有限。传统毫米波雷达准确性较低，存在如误报、虚假目标、多径等影响因素。同时，在测量目标高度上性能不佳，通常只包含距离、方位和速度信息，且存在杂波、噪声和低分辨率等问题，特别是在角度维度上，这最终限制了它在复杂感知任务中的适用性。而且传统毫米波雷达点云非常稀疏，没有语义信息，对周围环境的感知能力很差，与光学传感器相比，其在目标识别和分类方面的分辨率可能相对较低，难以识别物体的具体特征。
4D 毫米波雷达是传统雷达的升级版，可以测量四种类型的目标信息：距离、方位、高度(俯仰角)和速度。传统毫米波雷达可以检测物体的水平方位角（Azimuth）、距离和速度，在此基础上，4D 毫米波雷达还能够处理俯仰方位角信息，即四维数据，4D毫米波雷达可以实现类似于激光雷达的成像功能。在汽车应用场景中，由于缺乏高度信息，传统雷达在视角上只有一个平面，无法区分目标物体是在路上还是在空中，这使得毫米波雷达无法有效发挥作用，尤其是在静态物体识别方面。4D 毫米波雷达可以捕捉汽车周围目标的空间坐标和速度信息，还能计算目标的俯仰角信息，进而提供汽车周围的环境信息，规划出逼真的行驶路径。
4D 毫米波雷达与传统雷达的区别
传感器搭载方案
在自动驾驶技术路径主要分为“纯视觉方案”和“融合感知方案”，主要围绕自动驾驶车辆如何感知环境这一核心问题展开。这两个派别分别强调了摄像头（视觉系统）和雷达技术（主要是激光雷达，也包括毫米波雷达）在自动驾驶车辆的感知系统中的作用和重要性。
视觉派和激光雷达派代表厂商
以特斯拉为代表的视觉派不搭载激光雷达，认为摄像头捕捉的图像和视频能够提供与人类视觉类似的丰富环境信息，包括颜色、纹理、形状等，这对于理解复杂的交通场景至关重要。通过高级的图像处理和计算机视觉技术，车辆可以识别交通标志、信号灯、行人、其他车辆以及各种道路条件。纯视觉方案的支持者认为，随着深度学习和人工智能技术的进步，摄像头系统足以提供必要的信息来实现高级别的自动驾驶功能，而且成本相对较低，有利于大规模商业化。
特斯拉的感知方案采用的是纯视觉方案。目前特斯拉 Model 3/Y 共采用 9 个摄像头分布在车体四周：
⚫ 前视摄像头 3 个，位于前挡风玻璃上方，分别为主视摄像头、鱼眼镜头、长焦距镜头；
⚫ 后视摄像头 1 个，位于后车牌上方；
⚫ 左右两侧各有 2 个摄像头，分别为侧方前视摄像头和侧方后视摄像头；
通过 8 个摄像头，特斯拉可以整体实现 360 度全局环视视野，最大监测距离可以达到 250 米。摄像头捕获环境中的视觉信息经过一系列神经网络模型的处理，最终输出 3D 场景下的“矢量空间”，用于后续规划和智驾系统。“矢量空间”（Vector Space）技术同时兼具非凸优化算法（Non-convex）、高维度两大优势，可以通过 8 个摄像头输入的数据为基础绘制 3D 鸟瞰视图，形成 4D 的空间和时间标签的“路网”以呈现道路等信息，帮助车辆把握驾驶环境，更精准的寻找最优驾驶路径。
以蔚小理为代表的融合感知方案则采用了多传感器融合的方法，结合了摄像头、激光雷达、毫米波雷达和其他传感器的优点，以达到最佳的环境感知效果。通过融合不同传感器的优势，可以弥补单一传感器的不足，提高感知的准确性和可靠性。通过融合激光雷达的精确距离测量、摄像头的丰富视觉信息以及毫米波雷达的速度检测能力，系统能够获得更全面、更准确的环境感知结果。例如，在复杂的城市环境中，摄像头可能因为光线问题而识别不清交通标志，而激光雷达可以提供准确的距离信息，毫米波雷达则可以确保在恶劣天气条件下也能进行有效感知。综合利用这些传感器的优势，智能驾驶系统能够实现更安全、更有效的导航和驾驶辅助功能，为自动驾驶车辆的发展奠定了坚实的基础。
两条感知路线成本、技术难度方面各有优劣。成本方面，相比于激光雷达和毫米波雷达，摄像头的成本是最低的，单目相机的价格一般低于 100 美元，而激光雷达的价格现在大约在 5000 美元以内，纯视觉方案单车传感器成本低于多传感器融合方案。从技术难度方面看，多传感器方案的复杂度主要体现在融合层，由于不同传感器特性不同，所采集的数据类型也有很大差异，要将不同模态的数据统一映射到同一个空间，需要考虑融合错位、信息丢失、误差累加等问题，同时还需要解决当不同传感器感知结果不同时，应该选择信任谁的问题。而纯视觉方案的难度主要体现在数据的算法加工处理上，由于都是通过摄像头采集的同模态数据，在数据融合层面困难度比多传感器方案要小得多，但是由于摄像头自身能力的局限性，需要设计更为复杂的算法模型，从摄像头数据中识别到目标信息，例如对距离的计算、在恶劣环境下的识别能力等，这需要海量数据、复杂算法、大量算力作为支撑，因此纯视觉路线的门槛和壁垒极高。
定位类传感器
定位类传感器是一类用于测量和确定物体位置、方向或运动状态的传感器。这些传感器通常能够提供有关物体在三维空间中的坐标、方位、速度和加速度等信息。自动驾驶要实现高精度定位，需要通过 GNSS 提供绝对位置，IMU 提供相对位置，而高精地图可以用于环境感知，能够与激光雷达、摄像头等感知设备输出结果形成冗余，提高识别的准确度。
定位类传感器应用
GNSS（全球导航卫星系统）
GNSS（全球导航卫星系统）通过接收来自地球轨道上多颗导航卫星的信号，使用三角测量法计算出接收器的精确位置（包括纬度、经度和高度）和时间信息，是一种利用卫星信号来提供地面、海面或空中用户全球范围内的定位、导航和时间测量服务的系统。GNSS 是一个总称，它包括美国的 GPS、俄罗斯的 GLONASS、欧洲的 Galileo 和中国的北斗导航系统。广泛应用于汽车导航、航海、航空、户外探险、军事和科研等领域。优点在于全球覆盖，能在大部分地区提供定位服务；精度较高，通常定位精度在几米范围内；易于使用，不需要用户安装特殊设备。缺点在于在室内、隧道和城市的高楼大厦之间可能无法接收到卫星信号；受到大气条件、电磁干扰等因素的影响。GPS 指全球定位系统（Global Positioning System，GPS）是一种以空中卫星为基础的高精度无线电导航的定位系统。GPS 主要应用于导航定位，自问世以来就以其高精度、全天候、全球覆盖、方便灵活吸引了众多用户。
GNSS 系统构成
IMU（惯性测量单元）
IMU（惯性测量单元，Inertial Measurement Unit）是一种电子装置，通常由陀螺仪、加速计、算法处理单元三部分组成，用于测量和监测车辆的加速度、角速度和方向等信息。在自动驾驶系统中，IMU 起着至关重要的作用，它能够提供车辆当前的姿态、运动状态和位置等关键数据。以牛顿力学定律为基础，通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息。INS（惯性导航系统）是一种不依赖外部参考的自主导航系统，通过测量设备上的加速度计和陀螺仪的数据来计算设备的移动速度和方向，然后积分这些数据来估算位置变化。广泛应用于飞机、舰船、潜艇、导弹以及一些地面车辆的导航和控制系统。优点在于可以在没有外部信号的情况下工作，适用于极端环境；隐蔽性好，不容易被干扰或侦测。缺点在于随着时间的推移，误差会累积增加；成本较高，需要使用精密的传感器。
GPS、IMU 实现高精定位工作原理
高精地图
高精地图（High-Definition Maps, HD Maps）是自动驾驶汽车使用的一种详细地图，它提供比传统导航地图更高精度的道路、车道和环境特征信息。不仅包括道路几何形状和语义信息，还包括道路参与者的实时感知、天气状况、工作区域和事故的更新等数据。高精地图可以帮助自动驾驶系统精确定位自身位置，理解和预测周围环境，从而安全地导航和驾驶。
高精地图发展历程
根据百度 Apollo，高清地图中包括五个不同的元素：
⚫ 道路元素包含道路边界、车道类型和车道行驶方向等特征；
⚫ 相交元素具有相交边界；
⚫ 交通信号元素包括交通信号灯和标志；
⚫ 逻辑关系元素包含交通规则；
⚫ 其他要素包括人行横道、路灯和建筑物。
高精地图在自动驾驶中可以提供精确的地理信息、用于传感器校准和定位、支持高级路径规划。高精度地图提供准确的道路几何结构、车道标记、交通信号等地理信息，有助于自动驾驶系统准确地感知和理解周围环境；通过与地图进行比较，可以纠正传感器输出的误差，提高系统的定位准确性；高精度地图提供了详细的道路信息和交通规则，使得自动驾驶系统能够进行更精确的路径规划和决策，从而提高行驶的效率和安全性。
高精地图在十字路口的应用
高精地图用于环境感知，能够与激光雷达、摄像头等感知设备输出结果形成冗余，提高识别的准确度。在自动驾驶“感知-决策-执行”流程中，感知层中，车辆通过摄像头、毫米波雷达、激光雷达等设备获取周围场景信息，实现周围感知；将周围场景信息与高精度地图进行比对，确定车辆相对位置，并通过 GNSS、RTK 定位、惯性导航系统确定自身姿态、速度和绝对位置，共同实现自我感知。
百度 Apollo2.0 多传感器高精度定位实现方式
不过由于高精地图存在成本高、更新周期长等问题，一部分企业选择“重感知、轻地图”方案，也就是基本不用高精地图，而使用常规路图方案。高精地图的测绘需要资质，自然资源部下发的《关于促进智能网联汽车发展维护测绘地理信息安全的通知》规定高精地图测绘制作只能由具备导航电子地图制作甲级资质的单位进行。2022 年，共有 19 家单位通过资质复审；图商需要使用上百台专业移动测量采集设备获取信息，设备的使用成本高。信息经过加密处理和审核后才能被使用，流程长，导致信息容易过时，实际的道路信息可能与地图数据不符，这也会导致汽车在使用时的风险提高。
传感器与高精地图效果对比
来源：智驾社
