← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7176.b · 生成模型:Tencent Hunyuan Hy

日志分层存储选型

理解等级:高级

海量日志无法用一种存储通吃,原文按访问特征分层:不需实时访问的海量原始数据落HDFS,用MapReduce或Hive SQL离线挖掘;需实时展现的内容放Hbase,它天生支持自动分区,避开关系库单表容量上限;量级可控的计算结果集适合MySQL分库分表,因复杂条件查询与多表关联是列存储不具备的能力;对活动交易量这类每秒上万人下单的实时统计,磁盘持久化的普通DB扛不住TPS,要改用Memcache,内存电信号寻址与磁盘机械寻址效率差一个数量级。选型本质是权衡:数据规模、实时性、查询复杂度与写入TPS互相牵制,没有银弹,只有按场景把数据放到最合适的层。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.1 日志收集》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_001.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `8afa9dcf5b4c9e196b165ce3b9b21f2fe08b958d581145c9b3c27976a1ae11e0`) - 结论依据:原文『对于那些不需要提供实时访问的海量数据,可以将其保存在分布式文件系统HDFS上』给出分层起点,同节随后分述Hbase、MySQL与Memcache各自的适用场景。 - 原始内容:对于那些不需要提供实时访问的海量数据,可以将其保存在分布式文件系统HDFS上,然后通过mapreduce或者Hive SQL进行数据分析与挖掘。