知识卡片
日志存储不够时先降精度而非直接停记
长期保留完整日志的存储成本很高,但调查又可能需要较久之前的数据。原书引用一项 2018 年研究,称组织发现系统入侵平均约需 200 天;这不是当前所有组织的固定时长。可在写入时同时生成全量数据和低精度摘要,容量紧张时先删除体积大的全量数据,较久保留摘要,例如短期保留完整网络包,长期保留流量元数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
为了平衡存储成本和日志保留需求,建议将日志记录设计为优雅降级形式,而不是在达到存储容量时停止收集日志
参考来源
- 位置:《Google系统架构解密:构建安全可靠的系统》第15章《调查系统》15.2.4节日志记录成本(源文件:`../OREILY动物书合辑 图灵新版/_epub-src/text/part0014_split_122.html`)
- 结论依据:原文建议"将日志记录设计为优雅降级形式,而不是在达到存储容量时停止收集日志",并给出具体方案:"90%的存储空间专用于保留完整的日志,而剩余的10%用于存储某些数据的较低保真度摘要……N天后删除完整数据包内容,将网络流量数据保留一年"。
- 原始内容:为了平衡存储成本和日志保留需求,建议将日志记录设计为优雅降级形式,而不是在达到存储容量时停止收集日志……可以同时记录捕获的完整数据包和网络流量数据,在N天后删除完整数据包内容,将网络流量数据保留一年。