知识卡片

普通读书笔记卡 · 2275.as.6.c

源系统决定摄取模式

理解等级:中级

设计数据摄取时,先辨认源系统的归属、数据形态与产生频率,再选批次、微批次或流式路径。延迟目标应由业务时效与源端能力共同决定;把所有源都接成实时流,只会增加系统复杂度。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第1章《Introduction to Lakehouse Architecture》(源文件:_epub-src/OEBPS/ch01.html) - 结论依据:原文先按内部/外部、批次/近实时/流式、数据结构分类源系统,再指出摄取框架应依据源端能力实现不同模式,并满足业务 SLA。 - 原始内容:Data ingestion is the process of extracting data from source systems and loading it into your data platform. As seen in the earlier section, based on the source system’s capability to produce and send data, the ingestion framework must be implemented to build a batch, near real-time, or streaming system.