知识卡片
离线作业的调度与基线
离线开发套件把加工、分析、查询能力与调度、发布、运维、监控、告警整合在浏览器中,让开发者只关注业务。几项核心机制:
- 作业调度:作业及其上游依赖组成有向无环图。依赖调度要求所有父作业完成后才运行;时间调度要求到达设定时间才运行;两者同时存在时必须同时满足。
- 基线控制:离线作业耗时长,常出现急用数据却还没产出、重跑又来不及的情况。基线统一管理作业的完成时间、优先级和告警策略;调度按“最先到达、最短执行时间”动态调整资源和优先级,并用算法预测完成时间,预计无法按时产出时提前告警,让运维人员提前介入。
- 异构存储:为 Oracle、IQ、HANA、Hive、Spark、LibrA 等不同引擎开发插件,作业按类型自动选择插件运行。
- 代码校验:SQL 检查器事前做语法校验(区分 Hive、Spark、Phoenix 及其不同版本)和可扩展的规则校验(规范、质量、安全),避免在周期调度中或运行完才发现问题。
- 多环境级联:单一环境、经典环境(开发环境放脱敏数据,经发布流程上生产)和复杂环境(外部人员在脱敏环境开发,经内部测试确认后发布);生产环境不允许直接修改,必须在开发环境改动后经过提交、创建发布包、同意发布三步同步。
- 推荐依赖:工作流下作业可达成千上万,人工找上游很难。基于输入输出的表级血缘找到合适的上游作业,剔除会形成环路的候选,再返回推荐列表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据开发:数据价值提炼工厂 · 查看原书依据
因此本书提出一种基线控制方法,用于统一管理数据处理作业的完成时间、优先级、告警策略,保障数据加工按时完成。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.2 离线开发(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0027.xhtml,来源项目 book-sources)
- 结论依据:5.2节介绍离线开发套件的作业调度(依赖与时间)、基线控制与完成时间预测、异构存储插件、SQL语法与规则校验、多环境级联与发布流程、基于表级血缘和环路检测的推荐依赖。
- 原始内容:因此本书提出一种基线控制方法,用于统一管理数据处理作业的完成时间、优先级、告警策略,保障数据加工按时完成。