知识卡片
时序数据库的激进取舍
一个 200 节点、每节点 200 项指标、秒级采集的系统,一天就产生约 34.56 亿条记录,关系数据库难以承受。度量数据除时间外不与其他因素关联,无需范式和事务;85% 的查询只涉及最近 26 小时,95% 以上的操作是写,数据只追加、几乎不删改。时序数据库据此做出激进取舍:用 LSM 树取代 B+ 树;按 TTL 自动删除旧数据;对旧数据重采样降低精度。更极端的轮替型数据库用环形缓冲只保留固定数量的最新数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 可观测性 10.3.2 存储查询 · 查看原书依据
针对数据热点只集中在近期数据、多写少读、几乎不删改、数据只顺序追加这些特点,时序数据库被允许做出很激进的存储、访问和保留策略(Retention Policy): ·以日志结构的合并树(Log Structured Merge Tree,LSM-Tree)代替传统关系型数据库中的B+树作为
参考来源
- 位置:《凤凰架构:构建可靠的大型分布式系统》第10章"可观测性"10.3.2节
"存储查询"(源文件:_epub-src/OEBPS/Text/chapter124.xhtml)
- 结论依据:原文用200节点系统估算出日均34.56亿条记录,观察Prometheus
真实数据特征(无嵌套关联、不需事务),引用Facebook研究说明度量数据
多写少读、只追加不删改的特点,并列举LSM-Tree、TTL保留策略、重采样
三种激进优化手段及RRD轮替型数据库,直接支撑本卡片结论。
- 原始内容:针对数据热点只集中在近期数据、多写少读、几乎不删改、数据只顺序追加这些特点,时序数据库被允许做出很激进的存储、访问和保留策略(Retention Policy):……·以日志结构的合并树(Log Structured Merge Tree,LSM-Tree)代替传统关系型数据库中的B+树作为存储结构,LSM适合的应用场景就是写多读少,且几乎不删改的数据。