← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1213.d.1.l

报文与主交易分开存

理解等级:中级

分类存储:程序日志内容不确定,属非结构化,用分层滚动的文件存储;登录、退出、操作、接口日志有明确数据结构,便于按维度统计分析。

只用关系型数据库的问题:分组、排序、聚合很方便,但接口日志的请求和应答报文占用空间大,用 CLOB 等大文本字段会让查询性能急剧降低。

组合存储(按交易流水号关联): - 关系型 + 文档型:MySQL、Oracle 存主要结构化数据——日志流水 ID、客户端与服务端编码、请求与应答时间、交易耗时、接口编码;MongoDB 存完整请求应答报文;两者以日志流水号主键关联。关系型库做各维度分组汇总,文档库查具体报文; - 关系型 + 磁盘文件:完整报文写磁盘文件,文件名用日志流水号加后缀,方便直接找到。解决了 MongoDB 存储空间占用过大的问题,磁盘文件也便于定期备份和清理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第06章《第6章 系统日志架构设计》6.7 日志存储设计(2)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_6_7.xhtml,来源项目 book-sources) - 结论依据:6.7节第2部分区分非结构化程序日志与结构化业务日志的存储,指出接口报文用大文本字段会拖慢关系型库查询,提出关系型库存主交易、MongoDB或磁盘文件存报文并以流水号关联的两种组合存储设计。 - 原始内容:然后将关系型数据库与文档型数据库、文件按照交易流水号进行关联即可。