知识卡片
其他获取方式的取舍
- 命令行脚本:可读库、转格式、上传对象存储、触发目标获取,单机不易扩展但许多数据源不大;获取过程变复杂、SLA 变严时应转向编排系统。
- SSH:不是获取策略而是配套协议,用于 SCP 传文件和 SSH 隧道。应用数据库不应直接暴露在互联网上:设置堡垒主机,只对指定 IP 和端口开放最小访问,远程机器先建隧道到堡垒机,再连数据库。
- SFTP/SCP:仍是许多企业的现实选择,要做安全分析;SCP 应叠加网络访问控制做纵深防御。
- Webhook(反向 API):数据提供者调用消费者提供的端点。基于 Webhook 的架构可能脆弱、难维护、低效;更稳健的做法如 Lambda 接收事件 → Kinesis 缓冲 → Flink 实时分析 → S3 长期存储。这说明不对存储和处理做出决策,就无法完成获取架构设计。
- 网络界面手动下载报告:人会忘记生成报告、笔记本会死机,尽量选择可自动访问的工具。
- 网络抓取:先问能否从第三方获得数据;做个好公民,不要无意中造成 DoS、能同时启动数千个 Lambda 不代表应该这样做;注意违反服务条款的法律后果;网页结构不断变化,维护抓取程序很麻烦,要想清楚是否值得;是只提取字段还是保存完整 HTML 再处理,会导致下游架构截然不同。
- 传输设备:约 100TB 以上时,用卡车运“装硬盘的箱子”比网络更快更省(AWS Snowball,PB 级用 Snowmobile);也可用于跨云迁移以避开高昂出口费。它只适合一次性获取,不用于持续获取。
- 数据共享:通常只读共享,你没有数据所有权,提供者可随时撤销访问。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
你有能力同时启动数千个Lambda函数进行抓取,但并不意味着你可以这样做。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.5.10 命令行;7.5.11 SSH;7.5.12 SFTP和SCP;7.5.13 Webhook;7.5.14 网络接口;7.5.15 网络抓取;7.5.16 用于数据迁移的传输设备;7.5.17 数据共享(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:7.5.10–7.5.17节介绍命令行、SSH隧道与堡垒主机、SFTP/SCP、Webhook的稳健架构、网络界面、网络抓取的伦理法律与维护问题、传输设备的适用规模和数据共享的所有权限制。
- 原始内容:你有能力同时启动数千个Lambda函数进行抓取,但并不意味着你可以这样做。