知识卡片

普通读书笔记卡 · 2277.q.3

ES契合日志分析

理解等级:未标注

日志处理链路中,Elasticsearch 几乎没有竞争者,因为它恰好在三方面契合日志需求。数据特征:日志是基于时间、写入后几乎不变的数据流,可按时间范围预先创建索引,省去动态建索引的开销。数据价值:日志几乎只查近期,价值随时间衰减,冷热分层很自然。数据使用:日志分析依赖全文检索和即席查询,要求近实时而非秒级。这三重契合使其在日志领域近乎唯一答案。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 可观测性 10.1.4 存储与查询 · 查看原书依据

      从数据特征的角度看,日志是典型的基于时间的数据流,但它与其他时间数据流,譬如你的新浪微博、微信朋友圈这种社交网络数据又稍有区别:日志虽然增长速度很快,但已写入的数据几乎没有再发生变动的可能。日志的数据特征决定了所有用于日志分析的Elasticsearch都会使用时间范围作为索引,根据实际数

    参考来源

    - 位置:《凤凰架构:构建可靠的大型分布式系统》第10章"可观测性"10.1.4节 "存储与查询"(源文件:_epub-src/OEBPS/Text/chapter117.xhtml) - 结论依据:原文从数据特征(基于时间可预建索引)、数据价值(冷热数据 分层)、数据使用(近实时全文检索)三个角度说明Elasticsearch与日志 分析需求的契合度,并指出这是Elasticsearch在该领域几乎无竞争者的关键 原因,直接支撑本卡片结论。 - 原始内容:Elasticsearch的优势正好与日志分析的需求完美契合……从数据特征的角度看……从数据价值的角度看……从数据使用的角度看,分析日志很依赖全文检索和即席查询,对实时性的要求是处于实时与离线两者之间的"近实时"