知识卡片
物联网数据链路
物联网数据不是由人直接输入,而是由定期或持续从环境收集数据的设备产生;设备通常低功耗、在低资源低带宽环境运行。智能手机几乎一夜之间造就了庞大的物联网集群,之后又有智能恒温器、车载系统、智能电视、智能音箱。作者预计 IoT 将成为生成和使用数据的主要方式之一。
链路上的组件:
| 环节 | 要点 |
|---|---|
| 设备(事物) | 至少能收集和传输数据,也可能做边缘计算或边缘 ML。数据工程师不必懂设备内部,但要了解其功能、收集的数据、发送前的处理、发送频率,以及设备或网络中断、环境因素对下游收集的影响 |
| 物联网网关 | 连接设备并安全路由到互联网目的地的枢纽,让设备用极少功率连接,充当数据中转站;一大群设备通常按物理位置使用多个网关(低功耗 WiFi 标准可能降低其重要性) |
| 获取 | 从网关开始流入事件获取架构;也可能网关先积累、等进入蜂窝或 WiFi 范围再批量上传。要考虑迟到数据、模式差异、数据损坏、连接中断 |
| 存储 | 取决于延迟要求:远程科学传感器可用批量对象存储;家庭监控自动化需要接近实时,用消息队列或时序数据库 |
| 服务 | 批处理科学应用用云数仓分析出报告;家庭监控用流处理或时序库查找火灾、停电、入室盗窃等关键事件并告警,另有月度批报告 |
类似反向 ETL 的服务模式:收集制造设备传感器数据,分析后寻求优化,再把结果发回设备重新配置,让设备更高效运行(物联网语境中通常不叫反向 ETL)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 设计好的数据架构 · 查看原书依据
IoT数据不是由直接的人类输入(想想看从键盘输入数据)生成数据,而是由定期或连续从周围环境收集数据并将其传输到目的地的设备生成。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.4.8 物联网架构(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources)
- 结论依据:3.4.8节说明物联网数据由设备而非人生成及其低功耗低带宽特点,依次介绍设备与边缘计算、物联网网关、获取中的迟到与中断问题、按延迟要求选择存储、批与流两种服务方式,以及把分析结果发回设备重新配置的服务模式。
- 原始内容:IoT数据不是由直接的人类输入(想想看从键盘输入数据)生成数据,而是由定期或连续从周围环境收集数据并将其传输到目的地的设备生成。