知识卡片
报送系统分层加工
背景:银行、保险、证券受银保监会监管,要按要求上报业务、财务数据——如保险公司每日报送前一天的产品、保单、客户、收付费、保全、理赔数据,漏报错报要补报修改;大型集团的总分公司结构中分公司也要按集团标准每日报送。
五步流程:数据采集 → 数据加工 → 数据校验 → 数据报送 → 结果回执。按回执判断是否重报:数据内容不合规回到加工,数据范围不合规(多了或少了)回到采集。报送平台一般是企业内部系统、几乎没有 SaaS 产品——同一行业的公司技术、存储和组织方式完全不同,需要定制化开发。
三层数据: - 同源层:页面录入、文件导入、从业务库同步(Kettle、OGG、Canal),结构格式与源系统完全相同; - 中间层:加工得到的半成品数据,不能直接报送; - 报送层:进一步加工校验后符合监管规则、可打包报送的数据。层间加工用存储过程或后端程序,由页面或定时调度触发。
多监管部门报送不宜合成一套:银保监会、人民银行、各省市监管委员会要求的数据范围、数据项、交互方式(FTP 文件、XML 文件、JSON 实时报文)各不相同。流程虽然大同小异,但除同源层可共用外,中间层和报送层都是个性化需求,硬整合反而增加复杂性。可在同源层之上建主题层(模型层),把杂乱的原始数据按主题加工得更清晰——像数据库视图,使用者不必关心背后多少表和关联。
并行打包:数据常达百万、千万级,要打包压缩上传监管文件服务器。用 Fork Join 模式:加工程序提前分片,多台服务器各自多线程打包,线程结果合并、服务器结果再合并,最后报送。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 企业级核心架构设计实战 · 查看原书依据
虽然这些系统的报送流程大同小异,都可以抽象为数据采集、数据加工、数据校验、数据报送和数据回执这几个步骤,但是却无法整合为一套系统,因为除同源层数据可以共用外,中间层和报送层数据都是个性化需求,无法共用。