知识卡片
缓存、HDFS与流存储
内存存储系统:断电一秒就可能抹去数据,一般专注缓存,需要保留的数据应写入更持久介质。 - Memcached:键值缓存,只支持字符串或整数等简单结构,缓存查询结果和 API 响应,减轻后端压力; - Redis:支持列表、集合等复杂类型,有快照和日志等持久化机制。典型配置约每两秒写一次数据,因此适合极高性能但能容忍少量数据丢失的应用。
HDFS:基于 GFS,与对象存储的关键区别是在同一节点结合计算和存储,可就地处理数据。大文件切成几百 MB 以下的块,NameNode 维护目录、元数据和块位置;每块默认复制到 3 个节点,副本不足时 NameNode 指示补齐,除非发生相关故障,丢数据概率极低。
“Hadoop 已死,Hadoop 万岁”:Hadoop 不再是前沿技术,Pig 等工具维持运行,纯 MapReduce 已被淘汰;但 HDFS 仍广泛使用,是 EMR 等引擎的关键成分,Spark 仍普遍跑在 HDFS 上。运行千节点集群并能有效维护的公司继续用它是合理的;小公司应重新考虑小集群的成本和规模限制。
流式存储:消息队列中的数据是暂时的;Kafka 等可通过把旧消息推到对象存储实现无限期保留,Kinesis、Pulsar、Pub/Sub 也支持长期保留。与之密切相关的是重放——流式存储的标准检索机制,可对一个时间范围跑批处理查询,或重新处理流管道中的数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
因此,Redis适用于极高性能的应用程序,但可以容忍少量的数据丢失。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.6 缓存和基于内存的存储系统;6.2.7 Hadoop分布式文件系统;6.2.8 流式存储(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.2.6节介绍内存存储系统及Memcached、Redis的特点与适用场景;6.2.7节说明HDFS的计算存储结合、分块复制机制及Hadoop现状;6.2.8节介绍流式存储的长期保留与重放。
- 原始内容:因此,Redis适用于极高性能的应用程序,但可以容忍少量的数据丢失。