此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
埋点先写本地日志
高频埋点数据的第一落点,Redis 和 Kafka 都面临快与不丢的两难:Redis 的 AOF 每秒落盘可能丢 1 秒数据,每次落盘又太慢;Kafka 的 acks=0 快但无保障,acks=all 有保障但慢。项目最终把埋点写入本地日志文件,再由采集工具搬走,兼顾响应速度和可靠性。朴素的本地顺序写文件,有时比更重的中间件更合适。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第6章《数据收集》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_007.html)
- 结论依据:原文说明保存埋点数据第一现场可选Redis、Kafka、本地日志:Redis的appendfsync为everysec可能丢1秒数据、为always则很慢;Kafka的acks=0快但无保障、acks=all有保障但慢;想兼顾性能和可靠性,项目最终把埋点数据保存到本地日志。“顺序写与系统缓存带来兼顾”为卡片解释,原文未展开。
- 原始内容:如果appendfsync配置为everysec,则AOF每秒落盘一次,不过这种配置方式有可能会丢失一秒的数据……3)acks=all:等Leader将数据落到日志,且等min.insync.replicas个Follower都同步数据后,Kafka再返回完成信号给客户端。这种配置方式下虽然数据有保证,但响应慢。……如果想保证数据的可靠性,必然需要牺牲系统性能,那有没有一个方案可以性能和可靠性兼得呢?有。项目组最终决定把埋点数据保存到本地日志中。