知识卡片
应用数据集的六项考量
数据准备决定数据应用的质量和效果,包括数据资产和算法模型两方面。应用数据层是最重要的数据资产:把数仓层或标签层数据按业务需要组装成一个个应用场景数据集,并适配不同引擎环境以满足吞吐、并发和响应要求。构建时要考虑六个因素:
- 数据源:一般由数仓层或标签层加工而来,也可能要接入第三方或公开数据;它决定能否准备好满足需求的数据集。
- 性能要求:同样内容的数据集,低吞吐高并发的查询场景选快速查询引擎,高吞吐低并发的分析场景选大规模计算引擎;引擎环境又影响分区、索引、压缩等组织方式。
- 方便性:符合业务人员习惯、技术门槛低;有时为此牺牲部分规范性,如冗余字段、重复计算。
- 可靠性:按场景定质量要求——财务统计要求精确无误,趋势预测可以容忍一定误差;既避免质量问题,也避免过度设计。
- 扩展性:预留字段或表,采用模块化、服务化组织,以适应业务变化。
- 成本:软硬件、人力、时间成本,按组织能力和资源选择方案,“以稳定可控的技术为首要目标,不盲目追求新架构、新技术”。
算法模型的准备则沿着通用的机器学习生命周期展开:明确业务目标与评估指标 → 保证数据质量(清洗、预处理、特征工程)→ 选择模型(权衡复杂度、可解释性、泛化能力)→ 训练 → 用准确率、召回率、AUC 等评估 → 部署 → 监控性能下降和数据偏移 → 更新。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 数据应用体系建设 · 查看原书依据
要根据组织的人员能力和资源情况,选择合适的软硬件平台和技术方案来构建应用数据层。以稳定可控的技术为首要目标,不盲目追求新架构、新技术。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第08章《第8章 数据应用体系建设》8.2.1 数据准备(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0045.xhtml,来源项目 book-sources)
- 结论依据:8.2.1节说明应用数据层是数据准备的重点,列出数据源、性能要求、方便性、可靠性、扩展性、成本六项考虑,并概述算法模型从业务目标到模型更新的八个环节。
- 原始内容:要根据组织的人员能力和资源情况,选择合适的软硬件平台和技术方案来构建应用数据层。以稳定可控的技术为首要目标,不盲目追求新架构、新技术。