← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.14.h

文件交换与数据库服务

理解等级:中级

为分析和 ML 提供数据服务的管道和流程非常相似,常见方法:文件交换、数据库、流式系统、联邦查询、数据共享、语义与度量层、notebook。

文件交换:无处不在——数据科学家加载客户消息文本做情感分析,业务部门收到合作方 CSV 发票,数据供应商提供竞品网站的商品图片做视觉分类。提供方式取决于用例、消费者的数据处理流程(主要因素)、文件大小和数量、谁访问、数据类型。常因消费者无法使用数据共享平台而只能发文件。 - 最简单的是邮件发 Excel,但每个收件人的版本可能不同,编辑后就成了该用户独有的版本,文件偏差不可避免;权限想收回也几乎做不到。要保持版本一致,用 Microsoft 365、Google Docs 等协作平台; - 文件又大又多时用对象存储,需要稳定供应时用数据湖。基于对象存储的数据共享比点对点文件传输更可扩展、更高效。

数据库(主要指数仓、数据湖等 OLAP):通过模式维护数据顺序和结构;可对表、列、行做细粒度权限控制;能为大型计算密集查询和高并发提供高性能。 - BI 的两种计算模型:Tableau 先运行初始查询把数据拉到本地,切片切块在服务器上运行;Looker 采用查询下推,用 LookML 编码处理逻辑,结合用户输入生成 SQL 在源数据库运行。两者都可缓存结果减少重复查询负担; - 管理服务层的性能和成本通常由数据工程师负责。存算分离让为每个分析或 ML 任务单独启动 Spark 集群或 Snowflake 仓库成为可能;至少按主要用例(ETL 与分析/数据科学)划分集群,实践中常为每个主要领域分配一个数仓,让各团队在数据工程团队监管下自行管理查询资源预算; - 从流中直接获取可降低延迟,SSD 或内存缓存可提升嵌入式分析的查询性能和并发。Snowflake、Databricks 让分析师和数据科学家在同一环境用 SQL 编辑器和 notebook 协作,互不影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.5 为分析和机器学习提供数据服务的方法;9.5.1 文件交换;9.5.2 数据库(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources) - 结论依据:9.5节列出数据服务方法;9.5.1节说明文件交换的考虑因素、邮件发文件导致的版本偏差和权限问题、转向对象存储和数据湖;9.5.2节说明数据库作为服务层的优势、Tableau与Looker的计算模型,以及按用例和领域划分计算资源。 - 原始内容:不过用邮件发送文件的问题在于每个收件人的文件版本都可能不同。