知识卡片

普通读书笔记卡 · 1685.d.5.a.8

报送系统分层加工

理解等级:中级

背景:银行、保险、证券受银保监会监管,要按要求上报业务、财务数据——如保险公司每日报送前一天的产品、保单、客户、收付费、保全、理赔数据,漏报错报要补报修改;大型集团的总分公司结构中分公司也要按集团标准每日报送。

五步流程:数据采集 → 数据加工 → 数据校验 → 数据报送 → 结果回执。按回执判断是否重报:数据内容不合规回到加工,数据范围不合规(多了或少了)回到采集。报送平台一般是企业内部系统、几乎没有 SaaS 产品——同一行业的公司技术、存储和组织方式完全不同,需要定制化开发。

三层数据: - 同源层:页面录入、文件导入、从业务库同步(Kettle、OGG、Canal),结构格式与源系统完全相同; - 中间层:加工得到的半成品数据,不能直接报送; - 报送层:进一步加工校验后符合监管规则、可打包报送的数据。层间加工用存储过程或后端程序,由页面或定时调度触发。

多监管部门报送不宜合成一套:银保监会、人民银行、各省市监管委员会要求的数据范围、数据项、交互方式(FTP 文件、XML 文件、JSON 实时报文)各不相同。流程虽然大同小异,但除同源层可共用外,中间层和报送层都是个性化需求,硬整合反而增加复杂性。可在同源层之上建主题层(模型层),把杂乱的原始数据按主题加工得更清晰——像数据库视图,使用者不必关心背后多少表和关联。

并行打包:数据常达百万、千万级,要打包压缩上传监管文件服务器。用 Fork Join 模式:加工程序提前分片,多台服务器各自多线程打包,线程结果合并、服务器结果再合并,最后报送。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 企业级核心架构设计实战 · 查看原书依据

      虽然这些系统的报送流程大同小异,都可以抽象为数据采集、数据加工、数据校验、数据报送和数据回执这几个步骤,但是却无法整合为一套系统,因为除同源层数据可以共用外,中间层和报送层数据都是个性化需求,无法共用。

    参考来源

    - 位置:《架构基础:从需求到架构》第13章《第13章 企业级核心架构设计实战》13.4 监管批量信息报送系统核心设计实战(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_13_4.xhtml,来源项目 book-sources) - 结论依据:13.4节说明监管和集团总分结构下的数据报送需求,给出采集、加工、校验、报送、回执五步流程及按回执回退的规则,介绍同源层、中间层、报送层三层加工与主题层设计,指出多监管部门报送除同源层外难以共用,并采用Fork Join分片并行打包。 - 原始内容:虽然这些系统的报送流程大同小异,都可以抽象为数据采集、数据加工、数据校验、数据报送和数据回执这几个步骤,但是却无法整合为一套系统,因为除同源层数据可以共用外,中间层和报送层数据都是个性化需求,无法共用。