来源书籍

人工智能:智能驾驶

Skill 版本:v24 71 张卡片

张新钰 · 电子工业出版社 · 2020-12 · ISBN 9787121400865

全书导读

把智能驾驶看作一个闭环系统:车要知道周围发生了什么、自己在哪里、接下来应该做什么,以及真实车辆是否按预期行动。书中方案和产业案例反映 2020 年前后的研究与应用,适合沿着感知、决策、控制和安全的依赖关系来读。

全书主线

相机和雷达观察外部环境,卫星导航、惯性传感器和车辆反馈估计本车状态。感知模块把观测变成道路、目标及运动状态。决策模块据此选择行为并生成期望路径与速度,控制器根据测量误差调整实际动作。安全分析贯穿这些环节,要检查感知局限、执行失效及信息交换带来的风险。

前言

前言将智能驾驶置于交通安全、拥堵和出行效率的背景下,并用测试车辆发现行人却未及时制动的案例引出贯穿全书的问题:系统必须把观测传下去,形成能执行并能验证的动作。前言交代各章分工,也指出技术涉及人工智能、传感、地图和车辆控制等学科。交通改善属于研究和产业目标。

第1章 智能驾驶简介

驾驶自动化的等级描述系统承担了多少动态驾驶任务,以及由谁持续监督和在需要时接管。书中借早期无线遥控车、具备感知与规划能力的机器人,以及从沙漠到城市的挑战赛,说明研究任务逐步转向开放环境中的自主判断。国内外试验与商业案例按原书年代阅读。

道路、天气和交通流都会改变观测,车辆负载与磨损会改变控制响应,参与者也可能作出不同选择。这些变化沿系统链传递。软件架构因此把采集、感知、定位、认知、轨迹规划和控制分开处理。采集模块提供有时间标记的标准数据,定位给出本车位置,感知将观测变成障碍物和道路信息。认知层综合这些信息和地图,规划生成期望轨迹,横纵向控制器驱动转向、油门和制动。人机交互与通信、记录等公共服务贯穿系统。

原书依据 · 3 处

第2章 智能驾驶系统的体系架构

选传感器要先确定驾驶任务需要哪些观测。图像包含颜色、纹理、交通标志和车道线信息,但受光照、遮挡和训练覆盖影响。激光雷达用发射与回波的时间估计距离,多个方向的距离整理成点云。毫米波雷达可以从调频连续波的回波提取相对距离和速度,超声波探测适合短距。传感器参数则描述可观测细节、更新频率和成像条件,例如缩短曝光会减少感光时间。选型也要看多传感器是否真能覆盖彼此的盲区。

卫星定位从多个卫星的伪距估计位置和接收机钟差。差分定位利用已知位置基准站提供的观测或修正量抵消共性误差。车进隧道时卫星信号受遮挡,惯性导航可以短时间用陀螺仪和加速度计推算位置与姿态,积分误差会积累。组合定位利用两者的互补特性。车载总线还可读出轮速、转向、制动等反馈,供下一步闭环控制使用。

控制系统把指令交给车辆底层。书中对比了对现有车辆加装执行部件与在设计初期统一控制接口这两条路线,并依次讨论发动机、转向、制动、挡位和灯光。底层控制同样要获取实际状态,才能确认指令是否获得预期响应。

原书依据 · 9 处

第3章 深度学习与智能驾驶

深度学习通过多层非线性变换学习输入的表示。用于行人检测时,它可以从图像中学习卷积特征。传统方法先定义特征,方向梯度直方图(HOG)就是把局部亮度变化按方向统计,再用分类器判断区域是否包含行人。区域卷积网络(R-CNN)对候选区域提特征再分类,早期结构会反复处理重叠区域。任务辅助网络增加人和背景的属性监督,以帮助识别形态相似的对象。

双目摄像头在两个视点拍摄同一目标。两图中对应点的位置差称为视差,已知相机焦距和基线时可根据视差推算深度。孪生网络对左右图采用共享参数,把同一位置附近的图像特征变成可比较的向量。融合检测则把相机颜色和激光雷达的深度或几何特征一起送进网络,融合层的位置可能改变结果。

驾驶策略有三种接口。分模块方案显式识别道路、交通标志和障碍物,再做决策。直接方案从观测学习车辆控制量,监督数据中不同驾驶员的操作选择可能不一致。行为反射先估计车辆相对道路的角度、到车道线的距离等少数驾驶指标,再由控制逻辑使用这些指标。三类方案的区别在于中间输出保留了怎样的环境描述。

原书依据 · 10 处

第4章 智能驾驶的环境感知

环境感知的两项任务分别给决策回答“哪里可走”和“障碍物正在怎样移动”。有车道线的道路可利用边界规则,无标线道路则需要从颜色、局部纹理等线索区分路面和背景。在后者的实验中,Gabor 滤波器响应不同方向的纹理,经过直方图汇总后输入增量支持向量机。颜色直方图反向投影把像素映射成类似已知路面的程度。分类器的路面结果更新颜色模型,颜色模型的高、低置信区域又提供下一轮分类样本。颜色变化明显的测试序列更能体现双向更新的作用。

目标跟踪利用前一帧状态和当前观测持续估计位置、尺度等信息。粒子滤波用多个带权假设表示可能的目标状态。书中方案将检测器的结果纳入提议分布,以便让候选状态覆盖模型预测之外的位置,并通过颜色模板计算观测相似度。随着目标尺度和光线改变,检测器和模板使用对方提供的信息更新。若跟踪器直接把自己的错误结果当训练数据,错误会持续累积为漂移。

这些例子都利用半监督学习,即把少量可信标签与大量未标注观测结合。有效性取决于未标注数据对任务是否有信息量,以及不同视图能否提供互补证据。书中报告的测试针对具体视频和设备。

原书依据 · 10 处

第5章 智能驾驶的融合感知

传感器融合首先要回答两个观测是否来自同一位置和时刻。相机内参决定空间点如何映射为像素,外参决定相机与标定板等坐标系之间的旋转和平移。拍摄不同姿态的棋盘格可以从角点的已知排布推定这些参数。雷达测量的是点云,先用高度、反射强度等条件筛选候选,再聚类和拟合平面,利用标定板尺寸找出对应点。把两种传感器都关联到标定板,就得到它们之间的变换。重投影误差用激光测得的角点投影与实际像素之间的差来评价对齐。

时间对齐利用时间戳和缓冲区,把不同更新率的观测按测量时刻配对。即使空间变换准确,运动物体在不同时间里的观测也可能错位。对齐后可将稀疏深度投到相机图像并插值,与 RGB 一起分类。另一种方案保留多个点云视图,以鸟瞰图表示俯视几何,以中心视图保留雷达视角中的距离与强度,再用原始点云聚类向图像网络提出候选。训练、提案和去重各有不同目标,书中以 KITTI 样本对照不同输入和提案方法。

原书依据 · 10 处

第6章 智能驾驶决策

决策把环境观测、地图和本车状态变成可执行的目标。书中用规则选择持续一段时间的行为,例如巡线、换道、绕障或脱困,再用搜索计算该行为的路径。有限状态机以场景事件决定何时切换行为,必须核对条件覆盖、不歧义和是否会卡在循环。地图先验提供行驶方向或参考线,对临时障碍仍需使用实时观测。

规划时把道路离散成栅格,分别计算碰撞禁区与偏好代价。车辆与障碍物之间要留下随速度变化的裕量,预计移动方向也会扩大障碍物的影响。节点还要包含车身朝向。朝向不同,同一栅格中的车辆可能有不同碰撞结果和可达方向。两种启发分别放松障碍或车辆转弯限制,以较强的下界指导搜索。搜索后可以平滑路径,但还须复查车体占用与曲率。书中的办法将碰撞点恢复为原搜索路径的锚点后再分段优化。

规则化道路上的车道线和路口带有语义。同一条标线在巡线和合法换道任务中对路径施加的限制可能不同。速度规划再同时考虑信号、限速、轨迹曲率和动态目标,取各约束给出的较保守加速度。曲率会限制车速,车速也会改变可搜索转向范围与安全裕量。

原书依据 · 12 处

第7章 智能驾驶控制

控制器根据车的反馈,令车辆跟随期望路径与速度。在低速、摩擦充足等条件下,运动学模型可通过几何关系描述转向和位置变化。高速转弯、侧滑和不同左右轮的受力会影响真实响应,这时要考虑质量、轮胎力和横摆惯量等动力学因素。单轨简化合并同轴左右轮,双轨可以分别表示单轮,为差动制动提供模型。

模型预测控制在当前状态上预测一段时间内的运动,以跟踪误差、平滑性和执行器限制求出一串控制命令,只应用当前一步。下一周期重新测量与求解。避障控制进一步加入空间安全域、转向与加速度限制、轮胎接地负载及预测末端的约束。避开物体与维持车辆动态稳定需要共同检查。

稳定性控制关注车辆是否出现过大的横摆误差、车身侧偏或接地负载转移。防翻例子用可测信号估计难以直接测量的侧倾状态,再用风险指标决定是否介入。差动制动将制动力分配给不同车轮产生横摆力矩,同时要为轮胎侧向力留下余量。鲁棒控制则考虑参数未确定和外扰,力求在一定误差范围内维持控制性能。

原书依据 · 7 处

第8章 智能驾驶的安全性

本章先讨论如何表示潜在行车风险。安全场把风险表示为空间和时间中的分布,运动物体越靠近且相对运动越不利,其影响越大。安全熵借用信息熵描述对安全相关因素掌握程度的不确定性。两者是用于分析风险的模型,实际能否用于决策取决于变量估计、模型假设和场景校验。

功能安全关注车辆系统失效时怎样控制风险,预期功能安全还关注系统无故障时的局限和误用。如果停止某功能就能达到安全状态,可以及时限制或终止输出。需要维持转向、制动等能力时,备用链路可能需要接管并支撑一段时间。E-Gas 例子把主功能、安全监控和底层软硬件监控分开,分别设计失效路径。

车间通信让车辆交换位置、速度和危险信息,为本车传感器增加信息,但消息仍有时效、真实性和隐私要求。云端可以辅助处理,通信延迟不确定时,关键安全能力仍要在本车具备。以上关系也解释了为什么安全须从传感输入一直检查到执行。

原书依据 · 7 处

第9章 智能驾驶的未来展望

智能网联把单车系统扩展到车辆、道路设施、通信和云端。车内外不同链路让设备共享观测或接收服务,由车载终端、计算软件和执行设备各司其职。本章用设备、通信、平台、应用和共同规则来描述落地架构,并把功能安全和信息安全放在贯穿各层的位置。

书中将人机共驾、多车协同、复杂工况和安全验证列为研究问题。人机共驾要识别驾驶意图并确定何时交接控制权,多车队列要应对车辆动力差异、信息延迟和联合控制。仿真、软硬件结合的验证和示范运行覆盖不同条件,能逐步检查从模块性能到系统协同。国家和地方的产业政策与测试准入按书中记载的时代背景阅读。

原书依据 · 3 处

跨章综合

感知中的时间戳、标定关系与定位质量都是规划输入的一部分。设想一帧障碍物数据延迟到达:规划看到的是旧位置,绕行代价与间距就可能偏离真实状态,即使控制器跟踪完全正确也可能使车辆接近危险。感知应保留时间和质量信息,规划应明确输入适用条件,控制器应反馈命令是否可执行。

第六章的路径与速度耦合,在第七章体现为可行转向、轮胎摩擦和纵向制动的共同限制。第八、九章把这条链扩展到故障处理、驾驶权交接和车路通信。可用端到端的场景测试检查安全主张,并用逐层接口与日志定位错误从哪里开始。

发散与实践

读者延伸。计划一在离线样本中分开比较空间和时间偏差。计划二为桌面车辆仿真设计无故障、输出过期与备用不可用三类状态,用同一组判据验收故障后的行为。实践方案和记录表见本书 ideas 目录。

生成进度与管理记录

人工智能:智能驾驶

执行模式:light

Skill 版本:v24

建档进度:done

全书评级:经典原理。信息浓度高,稳定性高。

标定与融合讲清了共同坐标、测量时间和重投影误差的关系。决策与控制进一步解释了行为选择、位姿搜索、闭环跟踪及故障回退,能够迁移到移动机器人等类似系统。产业时间线、政策与特定模型结果按出版时的语境理解。

整书主线、各章和跨章综合见 整书笔记。

整书笔记 schema 1,SHA-256 f95bdc3211b06fabd041be7fcf4a2073375b7225ae8b770be20ccd9a026ccc5c。

轻量模式未执行笔记复核、独立审查及审查结果优化。

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 0
01 第1章 智能驾驶简介 done 3
02 第2章 智能驾驶系统的体系架构 done 9
03 第3章 深度学习与智能驾驶 done 10
04 第4章 智能驾驶的环境感知 done 10
05 第5章 智能驾驶的融合感知 done 10
06 第6章 智能驾驶决策 done 12
07 第7章 智能驾驶控制 done 7
08 第8章 智能驾驶的安全性 done 7
09 第9章 智能驾驶的未来展望 done 3

非正文排除

spine项 类型 排除理由
01 coverpage 封面 书封图片
02 copyright 版权页 出版及权属信息
03 chapter1 内容简介 出版简介复述全书范围
04 chapter2 丛书编委会 丛书编委名单
15 chapter13 封底 经查看为丛书目录和条码

待关联术语

术语名 出现章节 一句话语境

| HMM | 03 | 深度学习历史对照中列作浅层模型示例 | | 条件随机场 | 03 | 浅层学习算法列表 | | 最大熵模型 | 03 | 浅层学习算法列表 | | TSVM | 04 | 作为半监督学习家族示例 | | EM 算法 | 04 | 作为半监督学习家族示例 | | 灰关联熵 | 09 | 列作既有驾驶决策研究方向 | | ID3 | 09 | 列作驾驶决策分类树方案 | | VANET | 09 | 车载自组网络安全研究载体 |

引用文献

标题 类型 出现章节 一句话语境

| DÖRR D,GRABENGIESSER D,GAUTERIN F.Online driving style recognition using fuzzy logic [C]//17th IEEE International Conference on Intelligent Transportation Systems.Piscataway NJ:IEEE,2014:1021-1026. | 论文 | 03 | 原书本章参考文献 | | 张新钰,高洪波,赵建辉,等.基于深度学习的自动驾驶技术综述[J].清华大学学报:自然科学版,2018,58(4):438-444. | 论文 | 03 | 原书本章参考文献 | | 郭沐.无人驾驶车辆智能决策方法研究[D].清华大学,2015. | 论文 | 03 | 原书本章参考文献 | | Levinson J,Askeland J,Dolson J,et al.Traffic light mapping,localization,and state detection for autono-mous vehicles [C]//Robotics and Automation (ICRA),2011 IEEE International Conference on.IEEE,2011:5784-5791. | 论文 | 03 | 原书本章参考文献 | | Williams O,Blake A,Cipolla R.Sparse Bayesian learning for efficient visual tracking [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27 (8):1292-1304. | 论文 | 04 | 原书本章参考文献 | | Liu H,Sun F.Semi-supervised particle filter for visual tracking [C]//IEEE International Conference on Robotics&Automation IEEE,2009.3928-3933. | 论文 | 04 | 原书本章参考文献 | | Liu H,Sun F.Semi-supervised ensemble tracking [C]//IEEE International Conference on Acoustics,Speech&Signal Processing.IEEE,2009. | 论文 | 04 | 原书本章参考文献 | | Qian Y,Thang B D,Ge′rard M.Online Tracking and Reacquisition Using Co-trained Generative and Dis-criminative Trackers [C]//European Conference on Computer Vision.Springer-Verlag,2008. | 论文 | 04 | 原书本章参考文献 | | 胡崇海.基于图的半监督机器学习[D].浙江:浙江大学,2008. | 论文 | 04 | 原书本章参考文献 | | Zhu X.Semi-supervised learning literature survey [EL/OB].[2019-5-11] http://pages.cs.wisc.edu/jerryzhu/research/ssl/semireview.html. | 论文 | 04 | 原书本章参考文献 | | 唐晓亮.基于神经网络的半监督学习方法研究[D].大连:大连理工大学,2009. | 论文 | 04 | 原书本章参考文献 | | Blum A,Mitchell T.Combining labeled and unlabeled data with co-training [J].Proceedings of Eleventh Annual Conference on Computational Learning Theory,1998.92-100. | 论文 | 04 | 原书本章参考文献 | | Avidan S.Ensemble Tracking [J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2007,29 (2):261-271. | 论文 | 04 | 原书本章参考文献 | | Grabner H,Leistner C,Bischof H.Semi-Supervised On-line Boosting for Robust Tracking [C]//Europe-an Conference on Computer Vision.Springer,Berlin,Heidelberg,2008. | 论文 | 04 | 原书本章参考文献 | | Huang J,Zhang W,Quan G,et al.Semi-supervised visual object tracking by label propagation [C].Pro-ceedings of International Conference on Computer Science and Information Technology,2009.560-564. | 论文 | 04 | 原书本章参考文献 | | Zhou G,Wang Y,Nanping N D,et al.Graph based visual object tracking [C]//Computing,Communication,Control,and Management,2009.CCCM 2009.ISECS International Colloquium on.IEEE,2009. | 论文 | 04 | 原书本章参考文献 | | Babenko B,Yang M H,Belongie S.Visual Tracking with Online Multiple Instance Learning [C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009. | 论文 | 04 | 原书本章参考文献 | | 袁夏,赵春霞,陈得宝,等.一种基于激光雷达的路面提取算法[J].中国图象图形学报,2009(10):116-122. | 论文 | 04 | 原书本章参考文献 | | Danescu R,Nedevschi S.Probabilistic Lane Tracking in Difficult Road Scenarios Using Stereovision [J].Intelligent Transportation Systems IEEE Transactions,2009,10 (2):272-282. | 论文 | 04 | 原书本章参考文献 | | Nadeem A S,Syed H,Liu K,et al.Incremental Learning with Support Vector Machines [C]//IEEE In-ternational Conference on Data Mining.IEEE Computer Society,1999. | 论文 | 04 | 原书本章参考文献 | | Cauwenberghs G,Poggio T.Incremental and decremental support vector machine learning [J].Proceed-ings of Advances in Neural Information Processing Systems,2000.409-415. | 论文 | 04 | 原书本章参考文献 | | Bordes A,Ertekin S,Weston J,et al.Fast Kernel Classifiers with Online and Active Learning [J].Journal of Machine Learning Research,2005:1579-1619. | 论文 | 04 | 原书本章参考文献 | | Rasmussen C.Grouping Dominant Orientations for Ill-Structured Road Following.[C]//IEEE Computer Society Conference on Computer Vision&Pattern Recognition.IEEE,2004. | 论文 | 04 | 原书本章参考文献 | | Kong H,Audibert J Y,Ponce J.Vanishing point detection for road detection [C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2009.96-103. | 论文 | 04 | 原书本章参考文献 | | 叶吉祥,胡秀丽.基于Gabor小波与分形维的人脸情感特征提取[J].计算机工程,2008,034(004):226-227,230. | 论文 | 04 | 原书本章参考文献 | | Gong D,Yang Q,Tang X,et al.Extracting micro-structural gabor features for face recognition.[C]//IEEE International Conference on Image Processing.IEEE,2005. | 论文 | 04 | 原书本章参考文献 | | Collins R T,Liu Y,Leordeanu M.Online selection of discriminative tracking features [J].IEEE Trans-actions on Pattern Analysis and Machine Intelligence,2005,27 (10):1631-1643. | 论文 | 04 | 原书本章参考文献 | | 左军毅,梁彦,潘泉,等.基于多个颜色分布模型的Camshift跟踪算法[J].自动化学报,2008,034(007):736-742. | 论文 | 04 | 原书本章参考文献 | | Villamizar M,Scandaliaris J,Sanfeliu A,et al.Combining color-based invariant gradient detector with HoG descriptors for robust image detection in scenes under cast shadows [C]//2009 IEEE International Conference on Robotics and Automation.IEEE,2009. | 论文 | 04 | 原书本章参考文献 | | Horvitz E J,Breese J S,Henrion M.Decision theory in expert systems and artificial intelligence [J].In-ternational journal of approximate reasoning,1988,2 (3):247-302. | 论文 | 06 | 原书本章参考文献 | | Hofmann-Wellenhof B,Lichtenegger H,Collins J.Global positioning system:theory and practice [M].Springer Science&Business Media,2012. | 书 | 06 | 原书本章参考文献 | | Chuang T,Yi K.Design and evaluation of side slip angle-based vehicle stability control scheme on a virtual test track [J].IEEE Transactions on Control Systems Technology,2006,14 (2):224-234. | 论文 | 07 | 原书本章参考文献 | | 李升波,王建强,李克强.软约束线性模型预测控制系统的稳定性方法[J].清华大学学报(自然科学版),2010(50):1848-1852. | 论文 | 07 | 原书本章参考文献 | | Liu J C,jayakumar P,Stein J L,et al.Combined speed and steering control in high-speed autonomous ground vehicles for obstacle avoidance using model predictive control [J].IEEE Transactions on Vehicular Technology,2017,66 (10):8746-8763. | 论文 | 07 | 原书本章参考文献 | | YoonJ,Kim D,Yi K.Design of a rollover index-based vehicle stability control scheme [J].Vehicle System Dynamics,2007,45 (5):459-475. | 论文 | 07 | 原书本章参考文献 | | Brabarisi O,Palmieri G,Scala S,et al.LTV-MPC for yaw rate control and side slip control with dynami-cally constrained differential braking [J].European journal of control,2009,3 (4):468-479. | 论文 | 07 | 原书本章参考文献 | | Ozatay E,Unlusoy S Y,Yildirim M A.Design of fuzzy logic controller for four wheel steering system [C]//International Design Engineering Technical Conferences and Computers and Information in Engi-neering Conference.Long Beach,USA:ASME,2005:2331-2338. | 论文 | 07 | 原书本章参考文献 | | Aslam J,Qin S Y,Alvi M A.Fuzzy sliding mode control algorithm for a four-wheel skid steer vehicle [J].Journal of Mechanical Science&Technology,2014,28 (8):3301-3310. | 论文 | 07 | 原书本章参考文献 | | 王建强,吴剑,李洋.基于人-车-路协同的行车风险场概念、原理及建模[J].中国公路学报,2016,29(1):105-114. | 论文 | 08 | 原书本章参考文献 | | 李克强,张书玮,罗禹贡,等.智能环境友好型车辆的概念及其最新进展[J].汽车安全与节能学报,2013,4(2):109-120. | 论文 | 09 | 原书本章参考文献 | | Tawari A,Martin S,Trivedi M.Continuous Head Movement Estimator for Driver Assistance:Issues,Al-gorithms,and On-Road Evaluations [J].IEEE Transactions on Intelligent Transportation Systems,2014,15 (2):818-830. | 论文 | 09 | 原书本章参考文献 | | Chen L,Bian M,Luo Y,Li K.Tire-road friction coefficient estimation based on the resonance frequency ofin-wheel motor drive system [J].Vehicle System Dynamics,2016,54(1):1-19. | 论文 | 09 | 原书本章参考文献 | | Huang L,Lu Y,Yu Zhu,et al.Development of a Multi-target Tracking System Based on PolarCoordinate-for Automotive Wide Beam Radar [C].2015 JSAE Annual Congress Proceedings,pp.1-10. | 论文 | 09 | 原书本章参考文献 | | 杨列昂.VANETs安全问题研究[D].哈尔滨:哈尔滨工业大学,2011. | 论文 | 09 | 原书本章参考文献 | | Li J,Li B,Wo T,et al.Cyber Guarder:A virtualization security assurance architecture for green cloud-computing [J].Future Generation Computer Systems,2012,28 (2):379-390. | 论文 | 09 | 原书本章参考文献 |

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 离线分辨标定和时间偏差 其他(桌面仿真对照) done 05 实践计划
2 仿真评估备用控制切换 其他(桌面仿真对照) done 08 实践计划

实践候选筛选:done

实车采集需要设备、场地及安全条件,当前采用受控桌面对照。产业政策对照需要先确定地区与时间口径,本轮保留为出版背景。两份计划均待执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。