知识卡片

日志存储不够时先降精度而非直接停记

普通读书笔记卡 · 1460.k

内容

长期保留完整日志的存储成本很高,但入侵事件平均要200天才被发现,只留一周日志的话真出事时根本没有历史数据可查。折中方案是给日志设计优雅降级:写入时同时生成一份全量数据和一份低精度摘要,存储空间紧张时优先删除体积大的全量数据,把小得多的摘要长期保留——比如完整网络数据包只留几天,但网络流量元数据保留一年。这样即使无法负担无限存储,也能在事后调查时至少还原出”谁和谁在什么时候通信过”这类关键线索。

参考来源

- 位置:《Google系统架构解密:构建安全可靠的系统》第15章《调查系统》15.2.4节日志记录成本(源文件:`../OREILY动物书合辑 图灵新版/_epub-src/text/part0014_split_122.html`) - 结论依据:原文建议"将日志记录设计为优雅降级形式,而不是在达到存储容量时停止收集日志",并给出具体方案:"90%的存储空间专用于保留完整的日志,而剩余的10%用于存储某些数据的较低保真度摘要……N天后删除完整数据包内容,将网络流量数据保留一年"。 - 原始内容:为了平衡存储成本和日志保留需求,建议将日志记录设计为优雅降级形式,而不是在达到存储容量时停止收集日志……可以同时记录捕获的完整数据包和网络流量数据,在N天后删除完整数据包内容,将网络流量数据保留一年。