知识卡片
宽列、图、搜索与时序
宽列数据库:PB 级数据、每秒百万请求、低于 10 毫秒延迟,常用于电商、金融科技、广告技术、物联网。要点:只有行键一个索引,支持快速扫描但不支持复杂查询;必须选好行键优化性能;复杂分析要通过大扫描或 CDC 把数据送到二级分析系统。
图数据库:以节点和边存储数据,适合分析元素之间的连接。用文档库存“直接好友”数组,求一度连接很容易,但求“两跳可达多少用户”就要写复杂代码、运行缓慢。查询语言有 SPARQL、RDF、GQL、Cypher。数据工程师要选择:映射到现有范式(如重编码成关系表)、在源系统内分析、还是采用图专用分析工具;注意大型查询可能压垮生产图库。
搜索数据库:两个主要用例——文本搜索(精确、模糊或语义相似匹配)和日志分析(异常检测、实时监控、安全分析)。数据工程师可能要从 Elasticsearch、Solr、Lucene、Algolia 取数服务 KPI 报告。
时间序列数据库:负载以写为主,常用内存缓冲支持快速读写。要区分测量数据(定期产生,如温度传感器)和基于事件的数据(不规则,运动传感器检测到运动时才产生)。模式通常是时间戳加一组小字段、按时间排序,适合操作分析而不适合 BI,连接也不常见。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
它们只有一个索引(行键)用于查询。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.3.1 数据库(宽列数据库;图数据库;搜索数据库;时间序列)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:5.3.1节介绍宽列数据库只有行键索引需导出分析、图数据库的适用场景与三种处理选择、搜索数据库的两大用例,以及时间序列数据库的测量与事件数据之分和适用范围。
- 原始内容:它们只有一个索引(行键)用于查询。