知识卡片
沙箱要和生产库隔离
分析沙箱(也称工作区)是独立于生产库的非生产环境,团队在其中用数据副本做探索与建模。
必要性在于风险隔离。生产库直接操作受严格控制,例如财务数据只有在制作财务报表时才允许直接动;分析团队若在上面试查询、试转换,既可能影响业务系统,也可能破坏数据一致性。
与 IT 部门的摩擦点在数据范围。IT 的习惯是按目的授予最小数据集,而数据科学项目混合了目的驱动分析与探索性试验,逐表逐字段申请会拖垮进度。可行做法是团队与 IT 共同确认目标、证明独立沙箱的必要性,并与数据所有者建立长期协作关系。
容量上,沙箱应显著大于原始数据集,一个经验准则是原始数据的 5 到 10 倍,因为同一份数据常被复制成多份不同用途的表。沙箱里也不只放聚合数据,原始数据、结构化数据与非结构化日志往往要一并收集。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据分析生命周期 · 查看原书依据
假设团队需要处理公司的财务数据,那么团队应该在分析沙箱中用财务数据的拷贝进行分析,而不是直接用公司的生产数据库进行分析。直接操作生产数据库是受到严格控制的,只有在制作财务报表时才能进行。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第2章 数据分析生命周期(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0012_split_003.html)
- 结论依据:依据 2.3.1 节关于沙箱与生产库隔离、数据全盘收集与 IT 部门最小授权心态的对比,以及沙箱容量准则。
- 原始内容:假设团队需要处理公司的财务数据,那么团队应该在分析沙箱中用财务数据的拷贝进行分析,而不是直接用公司的生产数据库进行分析。直接操作生产数据库是受到严格控制的,只有在制作财务报表时才能进行。