知识卡片
任务日志记录开始结束与异常
共用执行骨架在任务开始、成功结束或异常时留下记录,可帮助识别哪一步完成、哪一步失败。业务处理脚本仍需要明确定义成功和失败,不能把捕获异常却不报告当作执行成功。该机制旨在提升可观察性,本段未证明重试和幂等已实现。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.3.1 SparkSQL大数据开发中台 · 查看原书依据
在通过技术中台封装的程序中,Spark初始化、数据存库等操作被封装了起来,定义函数公用类规范了许多业务的处理过程,同时还增加了写日志表的功能。有了这些设计指定的规范,其他开发人员按照这样的模板开发各种处理程序就可以了,设计得以规范,技术门槛得以降低。今后开发人员可以将更多的精力放到业务的实现和SQL的编写以及自己的一些个性化函数上了。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.3.1 SparkSQL大数据开发中台”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter149.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:共用执行骨架在任务开始、成功结束或异常时留下记录,可帮助识别哪一步完成、哪一步失败。其余范围限定用于避免超出书内证据。
- 原始内容:在通过技术中台封装的程序中,Spark初始化、数据存库等操作被封装了起来,定义函数公用类规范了许多业务的处理过程,同时还增加了写日志表的功能。有了这些设计指定的规范,其他开发人员按照这样的模板开发各种处理程序就可以了,设计得以规范,技术门槛得以降低。今后开发人员可以将更多的精力放到业务的实现和SQL的编写以及自己的一些个性化函数上了。