知识卡片
文件交换与CSV陷阱
对象存储是文件交换的最佳方式:实现最新安全标准、可扩展、可靠、接受任意类型和大小的文件;还可用签名 URL 给予临时访问权限。适合在数据湖、团队、组织之间移动数据。
EDI:常指通过邮件或 U 盘等古老方式交换文件。至少要自动化:建云端邮件服务器,收到附件立即存入对象存储并触发获取任务,而不是让员工手动下载再上传。
数据库导出:导出意味着大型扫描,会给事务系统带来很大负荷。源系统工程师要选择不影响性能的时间,按键值范围或分区把导出拆成多个小导出;导出频繁且与高负载时段重叠时,读副本特别合适。云数仓对直接导出到对象存储做了高度优化。
CSV 无处不在而又极易出错: - 默认分隔符是英语里最常见的字符——逗号; - 不是统一格式,必须定义分隔符、引号字符和转义; - 不原生编码模式、不支持嵌套; - 云环境的自动检测很方便,但不适合生产环境的获取。 最佳实践:在文件元数据中记录 CSV 的编码和模式细节。
更强的格式:Parquet、Avro、Arrow、ORC、JSON 原生编码模式、能处理任意字符串和嵌套结构;列式格式(Parquet、Arrow、ORC)在列式库间导出更高效,Arrow 可直接映射到处理引擎内存。缺点是许多源系统不支持,工程师常被迫用 CSV,并要建立健全的异常处理和错误检测。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
自动检测是许多云环境中提供的便利功能,但不适合用于生产环境的获取。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.5.6 使用对象存储移动数据;7.5.7 电子数据交换;7.5.8 数据库和文件导出;7.5.9 常见文件格式的问题(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:7.5.6–7.5.9节说明对象存储是文件交换的理想方式、EDI的自动化改进、数据库导出的负载控制与读副本,以及CSV的缺陷和更强导出格式的优缺点。
- 原始内容:自动检测是许多云环境中提供的便利功能,但不适合用于生产环境的获取。