边缘计算因时延而生
5G 把设备到基站的时延压到 2 ms 以内,但从基站到中心云仍要 50~100 ms,而 AR、VR、自动驾驶等场景要求 10 ms 以内,网络距离成了瓶颈。边缘计算把计算、存储能力下沉到靠近设备或数据源的节点,就近处理,用位置换时延,同时减轻骨干网压力。
主题对照
比较物联网平台的设备建模与接入、边缘节点就近处理的时延与带宽动因,以及云边协同中预处理、聚合与回传的分工。
5G 把设备到基站的时延压到 2 ms 以内,但从基站到中心云仍要 50~100 ms,而 AR、VR、自动驾驶等场景要求 10 ms 以内,网络距离成了瓶颈。边缘计算把计算、存储能力下沉到靠近设备或数据源的节点,就近处理,用位置换时延,同时减轻骨干网压力。
物联网是连接真实世界与数字世界的桥梁,平台的核心不只是把设备接进来,而是给设备建立统一的抽象模型。书中的物模型用结构化 JSON 描述物理实体,按属性、服务、事件三个维度定义设备能力。有了统一模型,不同设备的数据才能标准化,上层的分析、控制和规则联动才有共同语义。
设备数量暴增后,数据若全部回传中心云,会冲击核心网和骨干网,也挤占云端计算与存储资源。云边协同的关键分工是:边缘节点和网关先对数据做聚合、提纯、初步分析,把结果或高价值数据再传回云端,由云端负责全局分析和编排。
云计算是集中式的,把资源汇成共享池统一服务,重视整体;边缘计算是去中心化的,利用靠近数据源的计算节点自治处理,重视局部。边缘计算延时低、聚焦实时数据、过滤掉大量无用数据,效率更高。两者相互补充:各地数据先由边缘就近处理,再由云端整合。
边缘计算是应用中更靠近“操作”发生地的那部分,操作指要处理的数据来源,比如终端用户或被控制的设备。它的目的是让时间敏感的操作更靠近需要它们的地方,关键是把计算放在能高效运行的位置,而不是对开发和运维最方便的位置。无人驾驶汽车判断前方是行人还是刹车的车辆,必须在车内完成;路线优化、车队管理不那么紧急,放在云端。
边缘与云的伸缩方式不同。云端软件实例少、集中在少数地点,每个实例同时处理大量请求,用户越多负载越重,重点是资源管理:有没有足够资源支撑规模。边缘软件每新增一个用户就新增一个实例,每个实例只管一台设备、互不知晓,负载始终平稳,但实例数随用户线性增长,新增 100 万辆车就多 100 万个实例。所以边缘的重点是实例管理:如何管理、升级、监控海量实例。
放在边缘的计算往往不能依赖网络。无人驾驶汽车的避障、刹车判断必须立即、每次准时发生,不能因为互联网连接不好或云服务器忙而失效或延迟;家庭安全系统在网络不可靠时也要能关炉子、拉警报。边缘软件对紧急情况响应更快、更可靠,还能让数据留在本地,减少对集中数据的依赖。与[[降级按场景设计]]相连。
边缘服务更难管理和升级:硬件有多个版本和功能差异,不同设备上容易跑着不同版本的软件,高度分布也使监控困难。书中给出成功使用边缘计算的 8 个要点,其中包括:主动决定每项计算放边缘还是云端,不确定时选云,只有对边缘最优时才用边缘;不要以为边缘计算高度定制就忽略 DevOps 原则;自动化、可重复的部署对远程且节点众多的边缘应用更加重要。
先用低功耗传感器推断是否值得启动高功耗传感器,例如先由加速度判断是否移动,再取GPS位置。收益依赖低功耗检查足够便宜且常能省掉高功耗读取;如果仍频繁启动后者,额外检查反而耗能,还会增加复杂性、延迟并可能降低数据质量。
传感器把环境物理特性转成电子数据,执行器反过来按数字指令作用于环境。软件需要构造环境表示,有时一个传感器足够,有时要多源联合识别对象;传感器集线协处理器还能分担主CPU工作。模型、响应、安全和隐私相互关联,传感失效时应有领域适当的降级,例如定位不可用时采用受限估计,而不是当读数始终可靠。
传感栈组合设备和驱动,把原始读数变成应用可理解的环境信息。读取周期影响处理负载与精度;平滑利用时间序列抑制噪声;转换统一单位与格式;融合组合不同传感器来提高完整性和可信度。四者职责不同,不能把单位换算叫作融合,也不能把一次异常读数直接当作现实状态。具体算法依领域而定。
把路线计算或识别放到云端可借用更多算力和数据,但要核对本地能力、连接可得性、切分后的响应时间、本地存储和数据更新频率,还要考虑隐私。卸载不是单纯比较CPU速度:断网时必须仍有定义清楚的行为。不同运行模式也可关闭未用功能,将资源让给当前关键任务。
边缘计算把计算和存储放到数据产生或使用位置附近,减少远距离传输的延迟及带宽消耗。内容缓存是直观例子:从靠近用户的位置提供数据。它改变处理位置,并不自动解决更新同步、节点故障或全部隐私问题。
工业现场把部分计算任务从云端移到边缘节点,能缩短数据处理路径,提高实时性;代价是边缘节点常部署在更开放的现场,采集、分析和传输中的数据更易暴露。评估边缘计算方案时,不能只比较响应时延,还要核对节点的物理接触面和数据保护能力。这个取舍会扩大[[工业互联网四大特性相互放大治理难度]]中的分布式攻击面。
设备数据流先由流处理识别洞察,工作流再确保有人按时处理并安排行动。连续低油压不应每次都新建维修实例:有状态连接器可为同一设备洞察只建一次,把恢复正常的信号路由到原实例,必要时取消维修。流负责识别,流程负责持续履行处理责任。
结构图:
flowchart TD
A[设备传感数据] --> B[流处理提取洞察]
B --> C[有状态连接器]
C -->|新洞察| D[启动维修流程]
C -->|同一异常重复| E[复用既有实例]
C -->|恢复正常| F[通知既有实例]
F --> G[判断是否取消维修]
物联网数据不是由人直接输入,而是由定期或持续从环境收集数据的设备产生;设备通常低功耗、在低资源低带宽环境运行。智能手机几乎一夜之间造就了庞大的物联网集群,之后又有智能恒温器、车载系统、智能电视、智能音箱。作者预计 IoT 将成为生成和使用数据的主要方式之一。
链路上的组件:
| 环节 | 要点 |
|---|---|
| 设备(事物) | 至少能收集和传输数据,也可能做边缘计算或边缘 ML。数据工程师不必懂设备内部,但要了解其功能、收集的数据、发送前的处理、发送频率,以及设备或网络中断、环境因素对下游收集的影响 |
| 物联网网关 | 连接设备并安全路由到互联网目的地的枢纽,让设备用极少功率连接,充当数据中转站;一大群设备通常按物理位置使用多个网关(低功耗 WiFi 标准可能降低其重要性) |
| 获取 | 从网关开始流入事件获取架构;也可能网关先积累、等进入蜂窝或 WiFi 范围再批量上传。要考虑迟到数据、模式差异、数据损坏、连接中断 |
| 存储 | 取决于延迟要求:远程科学传感器可用批量对象存储;家庭监控自动化需要接近实时,用消息队列或时序数据库 |
| 服务 | 批处理科学应用用云数仓分析出报告;家庭监控用流处理或时序库查找火灾、停电、入室盗窃等关键事件并告警,另有月度批报告 |
类似反向 ETL 的服务模式:收集制造设备传感器数据,分析后寻求优化,再把结果发回设备重新配置,让设备更高效运行(物联网语境中通常不叫反向 ETL)。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
书籍类型:经典原理
146 张卡片
来源书籍
书籍类型:经典原理
312 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
53 张卡片
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
高可用与云架构风险管理类
书籍类型:工程实践
清单覆盖 7/7
60 张卡片
来源书籍
安全/密码学类
书籍类型:工程实践
清单覆盖 7/7
215 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
主题索引
移动与电池供电系统承担哪些物理约束,边缘节点与网关在采集、过滤、协议转换和本地决策上承担什么,设备侧算力与云端算力如何划分。