此笔记位置已失效,请从目录继续阅读。
全书导读
把智能驾驶看作一个闭环系统:车要知道周围发生了什么、自己在哪里、接下来应该做什么,以及真实车辆是否按预期行动。书中方案和产业案例反映 2020 年前后的研究与应用,适合沿着感知、决策、控制和安全的依赖关系来读。
全书主线
相机和雷达观察外部环境,卫星导航、惯性传感器和车辆反馈估计本车状态。感知模块把观测变成道路、目标及运动状态。决策模块据此选择行为并生成期望路径与速度,控制器根据测量误差调整实际动作。安全分析贯穿这些环节,要检查感知局限、执行失效及信息交换带来的风险。
前言
前言将智能驾驶置于交通安全、拥堵和出行效率的背景下,并用测试车辆发现行人却未及时制动的案例引出贯穿全书的问题:系统必须把观测传下去,形成能执行并能验证的动作。前言交代各章分工,也指出技术涉及人工智能、传感、地图和车辆控制等学科。交通改善属于研究和产业目标。
第1章 智能驾驶简介
驾驶自动化的等级描述系统承担了多少动态驾驶任务,以及由谁持续监督和在需要时接管。书中借早期无线遥控车、具备感知与规划能力的机器人,以及从沙漠到城市的挑战赛,说明研究任务逐步转向开放环境中的自主判断。国内外试验与商业案例按原书年代阅读。
道路、天气和交通流都会改变观测,车辆负载与磨损会改变控制响应,参与者也可能作出不同选择。这些变化沿系统链传递。软件架构因此把采集、感知、定位、认知、轨迹规划和控制分开处理。采集模块提供有时间标记的标准数据,定位给出本车位置,感知将观测变成障碍物和道路信息。认知层综合这些信息和地图,规划生成期望轨迹,横纵向控制器驱动转向、油门和制动。人机交互与通信、记录等公共服务贯穿系统。
驾驶分级描述责任。开篇介绍 SAE 分级,并用辅助驾驶和无人驾驶的职责差异说明分类目的。
驾驶不确定性来自三端。该节把不确定因素分为环境、车辆及驾驶员,并把三类变化与系统任务相联系。
决策依赖驾驶场景表示。原书的分层例子明确让决策使用由感知与定位综合得到的驾驶认知。
第2章 智能驾驶系统的体系架构
选传感器要先确定驾驶任务需要哪些观测。图像包含颜色、纹理、交通标志和车道线信息,但受光照、遮挡和训练覆盖影响。激光雷达用发射与回波的时间估计距离,多个方向的距离整理成点云。毫米波雷达可以从调频连续波的回波提取相对距离和速度,超声波探测适合短距。传感器参数则描述可观测细节、更新频率和成像条件,例如缩短曝光会减少感光时间。选型也要看多传感器是否真能覆盖彼此的盲区。
卫星定位从多个卫星的伪距估计位置和接收机钟差。差分定位利用已知位置基准站提供的观测或修正量抵消共性误差。车进隧道时卫星信号受遮挡,惯性导航可以短时间用陀螺仪和加速度计推算位置与姿态,积分误差会积累。组合定位利用两者的互补特性。车载总线还可读出轮速、转向、制动等反馈,供下一步闭环控制使用。
控制系统把指令交给车辆底层。书中对比了对现有车辆加装执行部件与在设计初期统一控制接口这两条路线,并依次讨论发动机、转向、制动、挡位和灯光。底层控制同样要获取实际状态,才能确认指令是否获得预期响应。
任务决定传感器组合。传感器比较段列出摄像头、雷达、定位各自缺陷,并用任务需求和信息冗余解释组合原则。
曝光时长影响成像。相机参数段以感光电荷积累解释快门长短对信号幅值的影响。
回波飞行时间给出距离。激光雷达小节给出飞行时间测距与点云的关系,并列出声波、无线电与光波。
调频回波携带距离速度。毫米波雷达小节用发射和回波的时延、混频结果解释距离与速度观测。
差分定位校正共性误差。差分定位小节区分修正数据的三种形式,并区分共性误差和接收机特有误差。
卫星惯导互补误差。组合导航一节把惯导的连续性和漂移、卫星定位的外部信号依赖放在一起解释。
线控接口影响整车集成。底层平台部分比较后期改装与前期设计整合,说明总线集成如何减少后期布线。
伪距联立位置与钟差。GPS 小节用四颗卫星共同求观测点位置和钟差。
成像器件读出方式有别。视觉小节分别介绍 CCD 的电荷转移和 CMOS 的芯片内集成。
原书依据 · 9 处
- 第2章 智能驾驶系统的体系架构 2.1 传感器配置 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.2 视觉传感器 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.3 雷达传感器 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.3 雷达传感器 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.4 定位系统 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.4 定位系统 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.5 控制系统 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.4 定位系统 · 查看原书依据
- 第2章 智能驾驶系统的体系架构 2.2 视觉传感器 · 查看原书依据
第3章 深度学习与智能驾驶
深度学习通过多层非线性变换学习输入的表示。用于行人检测时,它可以从图像中学习卷积特征。传统方法先定义特征,方向梯度直方图(HOG)就是把局部亮度变化按方向统计,再用分类器判断区域是否包含行人。区域卷积网络(R-CNN)对候选区域提特征再分类,早期结构会反复处理重叠区域。任务辅助网络增加人和背景的属性监督,以帮助识别形态相似的对象。
双目摄像头在两个视点拍摄同一目标。两图中对应点的位置差称为视差,已知相机焦距和基线时可根据视差推算深度。孪生网络对左右图采用共享参数,把同一位置附近的图像特征变成可比较的向量。融合检测则把相机颜色和激光雷达的深度或几何特征一起送进网络,融合层的位置可能改变结果。
驾驶策略有三种接口。分模块方案显式识别道路、交通标志和障碍物,再做决策。直接方案从观测学习车辆控制量,监督数据中不同驾驶员的操作选择可能不一致。行为反射先估计车辆相对道路的角度、到车道线的距离等少数驾驶指标,再由控制逻辑使用这些指标。三类方案的区别在于中间输出保留了怎样的环境描述。
深层变换学习非线性表示。该节对比浅层和深层结构,并说明深度增加对表达能力与训练数据的影响。
地图先验缩小图像搜索。信号灯案例使用已记录要素坐标与车位姿确定图像中的感兴趣区域。
方向梯度直方图描述轮廓。原文以定向梯度累计解释 HOG,并列出遮挡和计算成本等限制。
候选区域学习目标特征。R-CNN 例子有候选区域、卷积特征与分类三步,并讨论重复计算。
双目深度取决于视差。立体匹配段给出焦距、基线、视差及深度,并强调求视差是关键。
孪生网络共享立体特征。孪生网络例子说明卷积支路共享权值及内积层在匹配中的作用。
直接感知输出车辆控制。直接感知段举出图像到转角及节气门的映射,并讨论早期训练难点。
行为反射预测驾驶指标。原书用道路角度和车道线距离说明行为反射的中间表示。
辅助属性增加检测监督。任务辅助网络的例子将行人、场景属性加入监督。
融合层决定特征交互。HHA 行人检测试验在不同层加入点云特征,并报告对结果的影响。
原书依据 · 10 处
- 第3章 深度学习与智能驾驶 3.1 深度学习概述 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.1 深度学习概述 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.3 端到端的智能驾驶方案 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.4 行为反射方案 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
- 第3章 深度学习与智能驾驶 3.2 基于特征描述与分类器的行人检测方法及技术 · 查看原书依据
第4章 智能驾驶的环境感知
环境感知的两项任务分别给决策回答“哪里可走”和“障碍物正在怎样移动”。有车道线的道路可利用边界规则,无标线道路则需要从颜色、局部纹理等线索区分路面和背景。在后者的实验中,Gabor 滤波器响应不同方向的纹理,经过直方图汇总后输入增量支持向量机。颜色直方图反向投影把像素映射成类似已知路面的程度。分类器的路面结果更新颜色模型,颜色模型的高、低置信区域又提供下一轮分类样本。颜色变化明显的测试序列更能体现双向更新的作用。
目标跟踪利用前一帧状态和当前观测持续估计位置、尺度等信息。粒子滤波用多个带权假设表示可能的目标状态。书中方案将检测器的结果纳入提议分布,以便让候选状态覆盖模型预测之外的位置,并通过颜色模板计算观测相似度。随着目标尺度和光线改变,检测器和模板使用对方提供的信息更新。若跟踪器直接把自己的错误结果当训练数据,错误会持续累积为漂移。
这些例子都利用半监督学习,即把少量可信标签与大量未标注观测结合。有效性取决于未标注数据对任务是否有信息量,以及不同视图能否提供互补证据。书中报告的测试针对具体视频和设备。
可行域依赖道路结构。概述比较有清晰边界道路与缺少标线道路,并说明基于标识的方法为何受限。
未标注数据需揭示结构。半监督学习小节同时讨论分布假设和自学习迭代中的错标风险。
协同训练交换伪标签。原文给出两视图迭代,并讨论视图独立假设和伪标签选择。
增量分类复用历史状态。增量式 SVM 段说明使用历史训练结果延续学习并降低更新负担。
方向滤波汇总局部纹理。原文给出各方向统计、拼接和归一化的构造方法。
颜色频次反投影到像素。原文描述以像素对应的直方图柱构造概率图的过程。
道路纹理颜色双向更新。在线学习和对照实验给出交换方向及颜色分布变化时的更新作用。
自训练跟踪会累积漂移。跟踪概述解释自训练的样本构造,并指出偏差会在更新中放大。
带权粒子近似状态分布。原文将跟踪写成后验估计,并给出加权候选和重采样。
检测引导粒子提出位置。协同学习跟踪示例将 SVM 用于建议分布,将颜色模板用于粒子似然。
原书依据 · 10 处
- 第4章 智能驾驶的环境感知 4.1 概述 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.1 概述 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.2 基于协同学习的非结构化道路可行域检测 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.2 基于协同学习的非结构化道路可行域检测 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.2 基于协同学习的非结构化道路可行域检测 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.2 基于协同学习的非结构化道路可行域检测 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.2 基于协同学习的非结构化道路可行域检测 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.3 基于协同学习的目标跟踪技术 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.3 基于协同学习的目标跟踪技术 · 查看原书依据
- 第4章 智能驾驶的环境感知 4.3 基于协同学习的目标跟踪技术 · 查看原书依据
第5章 智能驾驶的融合感知
传感器融合首先要回答两个观测是否来自同一位置和时刻。相机内参决定空间点如何映射为像素,外参决定相机与标定板等坐标系之间的旋转和平移。拍摄不同姿态的棋盘格可以从角点的已知排布推定这些参数。雷达测量的是点云,先用高度、反射强度等条件筛选候选,再聚类和拟合平面,利用标定板尺寸找出对应点。把两种传感器都关联到标定板,就得到它们之间的变换。重投影误差用激光测得的角点投影与实际像素之间的差来评价对齐。
时间对齐利用时间戳和缓冲区,把不同更新率的观测按测量时刻配对。即使空间变换准确,运动物体在不同时间里的观测也可能错位。对齐后可将稀疏深度投到相机图像并插值,与 RGB 一起分类。另一种方案保留多个点云视图,以鸟瞰图表示俯视几何,以中心视图保留雷达视角中的距离与强度,再用原始点云聚类向图像网络提出候选。训练、提案和去重各有不同目标,书中以 KITTI 样本对照不同输入和提案方法。
融合前先对齐时空。本章开篇将安装位置与采样频率分别对应空间和时间差异。
角点在多个方向有变化。相机标定段用局部灰度变化矩阵的两个特征值解释角点。
内外参分工决定像素投影。该节区分同一相机的固定内参与随标定板姿态变化的外参。
点云平面与尺寸识别靶板。原文串联点云清洗、聚类、平面拟合和候选包围框筛选。
空间划分加速点云检索。原文说明分维比较和中值划分,并在点云聚类里使用空间距离。
重投影误差检验标定。空间标定段以多组角点的预测与实测像素差评价并优化变换。
不同帧率按采样时间配对。时间同步段给出不同帧率和时间戳、缓冲队列两种同步机制。
深度图补齐融合像素。原文从点云投影、深度上采样到四通道分类,区分稀疏观测和高分辨率输入。
多视图点云提出候选框。分层提案网络的各分支分别处理点云投影、三维簇及图像。
用交并比合并重复提案。实验部分使用 IoU 和 NMS 处理多视图提案重复,并讨论阈值对召回的影响。
原书依据 · 10 处
- 第5章 智能驾驶的融合感知 第5章 智能驾驶的融合感知 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.2 视觉传感器的标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.2 视觉传感器的标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.3 激光雷达传感器的标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.3 激光雷达传感器的标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.4 视觉相机-激光雷达联合自动标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.4 视觉相机-激光雷达联合自动标定 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.5 基于深度学习的视觉雷达融合方法 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.6 基于分层多视图提案网络的目标检测与识别 · 查看原书依据
- 第5章 智能驾驶的融合感知 5.6 基于分层多视图提案网络的目标检测与识别 · 查看原书依据
第6章 智能驾驶决策
决策把环境观测、地图和本车状态变成可执行的目标。书中用规则选择持续一段时间的行为,例如巡线、换道、绕障或脱困,再用搜索计算该行为的路径。有限状态机以场景事件决定何时切换行为,必须核对条件覆盖、不歧义和是否会卡在循环。地图先验提供行驶方向或参考线,对临时障碍仍需使用实时观测。
规划时把道路离散成栅格,分别计算碰撞禁区与偏好代价。车辆与障碍物之间要留下随速度变化的裕量,预计移动方向也会扩大障碍物的影响。节点还要包含车身朝向。朝向不同,同一栅格中的车辆可能有不同碰撞结果和可达方向。两种启发分别放松障碍或车辆转弯限制,以较强的下界指导搜索。搜索后可以平滑路径,但还须复查车体占用与曲率。书中的办法将碰撞点恢复为原搜索路径的锚点后再分段优化。
规则化道路上的车道线和路口带有语义。同一条标线在巡线和合法换道任务中对路径施加的限制可能不同。速度规划再同时考虑信号、限速、轨迹曲率和动态目标,取各约束给出的较保守加速度。曲率会限制车速,车速也会改变可搜索转向范围与安全裕量。
行为选择约束轨迹搜索。本章把规则选行为、搜索做路径速度规划组合起来。
状态机条件须覆盖事件。书中把转移条件写成真实事件的逻辑组合,检查非终态的转移完备性。
先验轨迹依赖定位映射。车道选择段说明地图先验可用性受定位精度和动态障碍影响。
启发式按已付与预计排序。原文给出 f=g+h,并比较零估计、低估与高估时的路径和搜索开销。
代价网格反映行为偏好。势函数段落按道路、障碍、参考轨迹填入代价,并根据行为调节参数。
路径搜索需要车身朝向。原文解释同一栅格不同朝向的碰撞可能性及后继状态生成。
两种约束下界引导搜索。文中分别构建车辆模型和障碍物两种启发,并用两者的较大值合并。
路径平滑后重新验碰撞。优化段明示碰撞惩罚无法保证可行,提出碰撞检查和锚点回退。
车道语义约束可规划区域。结构化道路规划比较巡线与换道对于标线和中心线的处理。
路径与速度形成双向约束。速度规划节解释双向作用,并给出多个加速度要求的选择方法。
启发距离匹配移动规则。本节比较曼哈顿距离与欧氏距离给出的启发效果。
巡航分离加速度与执行。速度规划用自适应巡航的上、下层举例,列出不同驾驶态势。
原书依据 · 12 处
- 第6章 智能驾驶决策 6.1 无人驾驶车辆的智能决策 · 查看原书依据
- 第6章 智能驾驶决策 6.2 驾驶行为选择方法 · 查看原书依据
- 第6章 智能驾驶决策 6.2 驾驶行为选择方法 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.4 无人驾驶车辆的速度规划 · 查看原书依据
- 第6章 智能驾驶决策 6.3 无人驾驶车辆的路径规划 · 查看原书依据
- 第6章 智能驾驶决策 6.4 无人驾驶车辆的速度规划 · 查看原书依据
第7章 智能驾驶控制
控制器根据车的反馈,令车辆跟随期望路径与速度。在低速、摩擦充足等条件下,运动学模型可通过几何关系描述转向和位置变化。高速转弯、侧滑和不同左右轮的受力会影响真实响应,这时要考虑质量、轮胎力和横摆惯量等动力学因素。单轨简化合并同轴左右轮,双轨可以分别表示单轮,为差动制动提供模型。
模型预测控制在当前状态上预测一段时间内的运动,以跟踪误差、平滑性和执行器限制求出一串控制命令,只应用当前一步。下一周期重新测量与求解。避障控制进一步加入空间安全域、转向与加速度限制、轮胎接地负载及预测末端的约束。避开物体与维持车辆动态稳定需要共同检查。
稳定性控制关注车辆是否出现过大的横摆误差、车身侧偏或接地负载转移。防翻例子用可测信号估计难以直接测量的侧倾状态,再用风险指标决定是否介入。差动制动将制动力分配给不同车轮产生横摆力矩,同时要为轮胎侧向力留下余量。鲁棒控制则考虑参数未确定和外扰,力求在一定误差范围内维持控制性能。
车速决定车辆模型取舍。本节比较运动学与动力学模型,并以高速转弯和打滑说明简化模型的边界。
预测控制每步重解。跟踪控制段解释有限时域求解、执行和新状态反馈。
避障还要限制车辆动态。避障段把无碰撞区域与车辆动态安全并列,并分别设计约束。
侧翻风险需观测估计。防翻控制段描述侧倾观测器及侧翻系数触发干预。
差动制动调节横摆。四轮模型案例按实际横摆偏差、侧滑和车轮受力决定制动力分配。
鲁棒控制考虑模型偏差。该节用模型误差、参数不确定和外扰三个来源说明方法用途。
双轨模型保留单轮受力。车辆建模节从前后轴等效受力转入分别描述四轮的双轨模型。
第8章 智能驾驶的安全性
本章先讨论如何表示潜在行车风险。安全场把风险表示为空间和时间中的分布,运动物体越靠近且相对运动越不利,其影响越大。安全熵借用信息熵描述对安全相关因素掌握程度的不确定性。两者是用于分析风险的模型,实际能否用于决策取决于变量估计、模型假设和场景校验。
功能安全关注车辆系统失效时怎样控制风险,预期功能安全还关注系统无故障时的局限和误用。如果停止某功能就能达到安全状态,可以及时限制或终止输出。需要维持转向、制动等能力时,备用链路可能需要接管并支撑一段时间。E-Gas 例子把主功能、安全监控和底层软硬件监控分开,分别设计失效路径。
车间通信让车辆交换位置、速度和危险信息,为本车传感器增加信息,但消息仍有时效、真实性和隐私要求。云端可以辅助处理,通信延迟不确定时,关键安全能力仍要在本车具备。以上关系也解释了为什么安全须从传感输入一直检查到执行。
安全场表达空间风险。原文以运动物体为例解释风险随距离、方向和速度变化。
安全熵描述信息不确定性。安全熵段从信息熵引出确知度与权重的模型。
失效后是否继续提供功能。本章按停止服务能否维持安全区分两类架构,并举转向和制动助力例子。
分层监控限制失效输出。E-Gas 案例给出三层职责和独立失效控制路径。
远程延迟保留车端能力。未来功能安全架构讨论通信时延对车端控制能力的要求。
车间通信补充感知观测。信息安全段介绍车间共享的状态字段、应急示例及隐私和篡改问题。
功能局限也会带来风险。功能安全作用一节同时讨论随机或系统性失效与预期功能局限。
第9章 智能驾驶的未来展望
智能网联把单车系统扩展到车辆、道路设施、通信和云端。车内外不同链路让设备共享观测或接收服务,由车载终端、计算软件和执行设备各司其职。本章用设备、通信、平台、应用和共同规则来描述落地架构,并把功能安全和信息安全放在贯穿各层的位置。
书中将人机共驾、多车协同、复杂工况和安全验证列为研究问题。人机共驾要识别驾驶意图并确定何时交接控制权,多车队列要应对车辆动力差异、信息延迟和联合控制。仿真、软硬件结合的验证和示范运行覆盖不同条件,能逐步检查从模块性能到系统协同。国家和地方的产业政策与测试准入按书中记载的时代背景阅读。
验证覆盖多个系统层级。发展趋势段将整车、系统、部件评价与仿真、实车测试并列。
人机共驾需要分配控制权。原文列出意图识别、安全包络干预和人机驾驶权分配的研究,并指出适应性不足。
网联功能落到设备与链路。产品物理架构段给出设备、网络和平台分层,同时将两类安全视为共同条件。
跨章综合
感知中的时间戳、标定关系与定位质量都是规划输入的一部分。设想一帧障碍物数据延迟到达:规划看到的是旧位置,绕行代价与间距就可能偏离真实状态,即使控制器跟踪完全正确也可能使车辆接近危险。感知应保留时间和质量信息,规划应明确输入适用条件,控制器应反馈命令是否可执行。
第六章的路径与速度耦合,在第七章体现为可行转向、轮胎摩擦和纵向制动的共同限制。第八、九章把这条链扩展到故障处理、驾驶权交接和车路通信。可用端到端的场景测试检查安全主张,并用逐层接口与日志定位错误从哪里开始。
发散与实践
读者延伸。计划一在离线样本中分开比较空间和时间偏差。计划二为桌面车辆仿真设计无故障、输出过期与备用不可用三类状态,用同一组判据验收故障后的行为。实践方案和记录表见本书 ideas 目录。