知识卡片

普通读书笔记卡 · 2274.g.2.a.1.c.2.a

应用数据集的六项考量

理解等级:中级

数据准备决定数据应用的质量和效果,包括数据资产和算法模型两方面。应用数据层是最重要的数据资产:把数仓层或标签层数据按业务需要组装成一个个应用场景数据集,并适配不同引擎环境以满足吞吐、并发和响应要求。构建时要考虑六个因素:

  1. 数据源:一般由数仓层或标签层加工而来,也可能要接入第三方或公开数据;它决定能否准备好满足需求的数据集。
  2. 性能要求:同样内容的数据集,低吞吐高并发的查询场景选快速查询引擎,高吞吐低并发的分析场景选大规模计算引擎;引擎环境又影响分区、索引、压缩等组织方式。
  3. 方便性:符合业务人员习惯、技术门槛低;有时为此牺牲部分规范性,如冗余字段、重复计算。
  4. 可靠性:按场景定质量要求——财务统计要求精确无误,趋势预测可以容忍一定误差;既避免质量问题,也避免过度设计。
  5. 扩展性:预留字段或表,采用模块化、服务化组织,以适应业务变化。
  6. 成本:软硬件、人力、时间成本,按组织能力和资源选择方案,“以稳定可控的技术为首要目标,不盲目追求新架构、新技术”。

算法模型的准备则沿着通用的机器学习生命周期展开:明确业务目标与评估指标 → 保证数据质量(清洗、预处理、特征工程)→ 选择模型(权衡复杂度、可解释性、泛化能力)→ 训练 → 用准确率、召回率、AUC 等评估 → 部署 → 监控性能下降和数据偏移 → 更新。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第08章《第8章 数据应用体系建设》8.2.1 数据准备(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0045.xhtml,来源项目 book-sources) - 结论依据:8.2.1节说明应用数据层是数据准备的重点,列出数据源、性能要求、方便性、可靠性、扩展性、成本六项考虑,并概述算法模型从业务目标到模型更新的八个环节。 - 原始内容:要根据组织的人员能力和资源情况,选择合适的软硬件平台和技术方案来构建应用数据层。以稳定可控的技术为首要目标,不盲目追求新架构、新技术。