返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 5404.b.6

日志收集目标要匹配分析时效

理解等级:中级

日志分散在许多节点,集中收集需要同时考虑产生到可分析的延迟、动态扩缩和故障期间的缓冲。分析允许的延迟由用途决定,不能把书中分钟或小时级容忍推广到告警、审计或在线风控。保证不丢还需说明持久化、确认、重放和容量耗尽策略,不能只因有收集器就成立。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据通道 · 查看原书依据

      (1)低延迟: 从Log数据产生到能够对其分析,希望尽可能快地完成收集过程。当然,因为Log数据的特性,Log数据收集并不要求像流式系统那样的即时性,收集延时在秒级别到分级别甚至小时级别都是可以接受的。

    参考来源

    - 位置:《大数据日知录:架构与算法》7(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html) - 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。 - 原始内容:(1)低延迟: 从Log数据产生到能够对其分析,希望尽可能快地完成收集过程。当然,因为Log数据的特性,Log数据收集并不要求像流式系统那样的即时性,收集延时在秒级别到分级别甚至小时级别都是可以接受的。