知识卡片
正则的脆弱性
现象:正则表达式用很小的模式描述一大类字符串,写起来快,但很容易写出与预期不符的规则。更麻烦的是它在当前数据集上跑得通,换一批数据就遇到没考虑过的写法。
工程含义:模式是对数据格式的假设,而真实数据总在漂移——邮编可能缺连字符、金额可能带千分位、电话可能带国家码。若把假设写死又不校验,错误会静默传播到下游聚合与模型里。
做法: 1. 用反向匹配先做体检,例如筛出不符合标准邮编格式的记录,人工看一批样本,确认是数据脏还是模式错。 2. 把校验规则固化成查询或断言,数据更新后重跑,相当于给数据质量加回归测试。 3. 对抽取与替换的结果抽样比对,避免只验证布尔匹配而没验证取出的内容。
边界:正则擅长格式层面的检查,判断语义是否合理仍需业务规则与人工复核。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
正则表达式在搜索和修改文本字符串方面提供了相当大的灵活性。然而,也很容易会创建一个不按照预期工作的正则表达式。例如,特定的操作可能在给定的数据集上能正常工作,对后续的数据集则可能会有新的情况需要处理。因此,要对使用了正则表达式的任何SQL代码进行彻底测试。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_002.html)
- 结论依据:11.2节末尾关于正则容易写得不符合预期、换数据集会出现新情况、必须彻底测试的论述,以及用反向匹配找出无效邮编的示例。
- 原始内容:正则表达式在搜索和修改文本字符串方面提供了相当大的灵活性。然而,也很容易会创建一个不按照预期工作的正则表达式。例如,特定的操作可能在给定的数据集上能正常工作,对后续的数据集则可能会有新的情况需要处理。因此,要对使用了正则表达式的任何SQL代码进行彻底测试。