知识卡片

普通读书笔记卡

TSI:把索引搬到磁盘,用启动效率换内存容量上限

理解等级:未标注

InfluxDB早期用一个纯内存的倒排索引来维护”序列键→序列数据”的 映射,这个设计在时间序列数量不多时没问题,但暴露出两个随规模 增长必然恶化的问题:内存索引要为每个度量、每个标签键值对、 每个域名称都建倒排项,序列数一多,内存占用会显著上涨,直到 把内存耗尽为止;更棘手的是,系统每次重启都得靠扫描磁盘上的 全部数据把这个内存索引重新构建一遍,序列越多,启动就越慢。 TSI(time series index)解决这两个问题的思路是把索引这件事 从”必须整个装进内存”里解放出来:设计成一个支持磁盘存储、通过 内存映射读取的倒排索引,只把真正被频繁访问的热数据留在操作 系统的页缓存里,冷数据留在磁盘上不占内存,而且不需要用户手动 设计缓存替换策略——直接借用操作系统本身的LRU页缓存机制。这样 带来的直接收益是内存占用不再随序列数量线性增长,理论上能支持 数百万条时间序列而不被内存容量卡死。但这个方案不是没有代价: 如果所有时间序列都在被频繁读写,索引就会在内存和磁盘之间频繁 换入换出,反而拖累查询性能——TSI用”允许冷数据落盘换取容量 上限”这个前提,本身就假设了大多数时间序列不会同时活跃,一旦 假设不成立,官方给出的解法也只能是横向扩展集群,而不是继续 优化单机索引本身。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《新型数据库系统:原理、架构与实践》第9章"时序数据库 技术"9.2.2节"TSI"(源文件: _epub-src/EPUB/xhtml/Section0001_0011.xhtml) - 结论依据:原文明确"由于需要对每个度量、每个标签键值对和 每个数据域的名称倒排索引,因此如果系统存在大量时间序列时, 内存使用量将会显著增加,并且当系统启动时,需要根据磁盘上的 数据重构倒排索引,极大地延长了启动时间。TSI是一个支持磁盘 存储的倒排索引……可以支持数百万条时间序列,移除了内存容量 对可以存储的时间序列数目的限制",以及"当所有时间序列都执行 查询和写入操作时,它们的索引可能会被频繁地在内存和磁盘间 切换,严重影响查询性能",说明TSI设计动机及其局限性。 - 原始内容:TSI是一个支持磁盘存储的倒排索引。通过使用TSI, InfluxDB可以支持数百万条时间序列,移除了内存容量对可以存储 的时间序列数目的限制。TSI被InfluxDB视为除TSM Tree之外最重大 的技术突破。