知识卡片
共性封装保留业务个性
Spark初始化、公共清洗函数、写出与任务日志可以从重复程序中抽出,让业务任务主要表达自身转换和计算。公共部分要稳定且语义一致,个性规则仍留在具体任务。本书的80/20比例是经验表达,不应作为所有数据工作的固定工作量定律。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.3.1 SparkSQL大数据开发中台 · 查看原书依据
有了这样的方案,大数据改造实际上就变为SparkSQL程序的开发过程。同时,通过保留个性,抽取共性,就可以形成一套大数据开发的技术中台。这既降低了技术门槛,还使得大数据产品运行在各种不同的大数据平台上成为可能。注意,未来的大数据市场上,不同的客户可能先购买的是不同的大数据平台,进行平台建设,然后再购买各种大数据产品。因此,大数据产品想要有竞争力,就必须能够运行在不同的大数据平台中,具有较好的兼容性。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.3.1 SparkSQL大数据开发中台”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter149.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:Spark初始化、公共清洗函数、写出与任务日志可以从重复程序中抽出,让业务任务主要表达自身转换和计算。其余范围限定用于避免超出书内证据。
- 原始内容:有了这样的方案,大数据改造实际上就变为SparkSQL程序的开发过程。同时,通过保留个性,抽取共性,就可以形成一套大数据开发的技术中台。这既降低了技术门槛,还使得大数据产品运行在各种不同的大数据平台上成为可能。注意,未来的大数据市场上,不同的客户可能先购买的是不同的大数据平台,进行平台建设,然后再购买各种大数据产品。因此,大数据产品想要有竞争力,就必须能够运行在不同的大数据平台中,具有较好的兼容性。