知识卡片

普通读书笔记卡 · 2280.q.9.a

存储选型与数据湖入湖

理解等级:中级

数据汇聚后首先面临存储选型。抛开技术指标,要考虑三方面:数据规模(当前与未来,倾向成本可控、易扩展的系统)、数据生产方式(实时推送的数据需要能实时落地的存储,必要时在生产端和目标端之间加一个写性能好的中间存储)、数据应用方式(离线分析、搜索等不同场景需要不同存储)。大规模下任何小问题都会被放大,靠一种存储解决所有问题不现实,应按需组合。

几组基本概念:

  • 在线与离线存储:在线存储随时可读;离线存储用于备份,顺序读写、访问慢。
  • OLTP 与 OLAP:不是竞争关系而是协作——OLTP 处理大量用户的小事务,看每秒事务和查询数;OLAP(数据仓库、决策支持)做多维分析,执行大量查询,对实时性和事务性要求低。
  • 存储技术:分布式文件系统(如 HDFS,适合批处理高吞吐)、分布式键值与对象存储、MPP 分析数据库(SQL 兼容好但只能处理结构化数据,难以支撑数据湖)、NoSQL(键值、列族、文档、图)以及以服务方式提供的云数据库。

数据湖解决了数仓方案的三个瓶颈:非结构化原始数据因成本难以全部汇入;数仓是结构化存算一体,非结构化数据处理链路长;OLAP 选型难以保证 ACID,不适合实时精准分析。关键差异是数仓“写时模式”(写入时定义结构)、数据湖“读时模式”(使用时由使用者定义结构和分析方法,更灵活)。数据湖通过数据编目统一管理分散在各处的存储,使用者无须关心物理位置;入湖分两种:

  • 物理入湖:编目后同步到湖内存储,适合经常使用、分析的数据,计算可立即开始;
  • 虚拟入湖:只编目不同步,计算时再实时同步或在边缘先算,适合存储开销大、使用频率低或难以评估的数据(如非结构化数据)。

作者认为数据湖是数据中台现阶段在技术层面的最佳选择。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第04章《第4章 数据汇聚:打破企业数据孤岛》4.3 数据存储系统的选择(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0024.xhtml,来源项目 book-sources) - 结论依据:4.3节提出数据规模、生产方式、应用方式三项选型考虑,介绍在线与离线存储、OLTP与OLAP、分布式系统、NoSQL、云数据库,说明数据湖解决的数仓瓶颈、写时与读时模式、数据编目及物理入湖与虚拟入湖。 - 原始内容:虚拟入湖:仅完成数据编目的工作,而不进行数据汇聚、同步的工作,只有在计算时,才通过实时同步的方式将数据集中存储并计算。