← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9755.h · 生成模型:DeepSeek-V4.1-Flash

正则的脆弱性

理解等级:高级

现象:正则表达式用很小的模式描述一大类字符串,写起来快,但很容易写出与预期不符的规则。更麻烦的是它在当前数据集上跑得通,换一批数据就遇到没考虑过的写法。

工程含义:模式是对数据格式的假设,而真实数据总在漂移——邮编可能缺连字符、金额可能带千分位、电话可能带国家码。若把假设写死又不校验,错误会静默传播到下游聚合与模型里。

做法: 1. 用反向匹配先做体检,例如筛出不符合标准邮编格式的记录,人工看一批样本,确认是数据脏还是模式错。 2. 把校验规则固化成查询或断言,数据更新后重跑,相当于给数据质量加回归测试。 3. 对抽取与替换的结果抽样比对,避免只验证布尔匹配而没验证取出的内容。

边界:正则擅长格式层面的检查,判断语义是否合理仍需业务规则与人工复核。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据

      正则表达式在搜索和修改文本字符串方面提供了相当大的灵活性。然而,也很容易会创建一个不按照预期工作的正则表达式。例如,特定的操作可能在给定的数据集上能正常工作,对后续的数据集则可能会有新的情况需要处理。因此,要对使用了正则表达式的任何SQL代码进行彻底测试。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_002.html) - 结论依据:11.2节末尾关于正则容易写得不符合预期、换数据集会出现新情况、必须彻底测试的论述,以及用反向匹配找出无效邮编的示例。 - 原始内容:正则表达式在搜索和修改文本字符串方面提供了相当大的灵活性。然而,也很容易会创建一个不按照预期工作的正则表达式。例如,特定的操作可能在给定的数据集上能正常工作,对后续的数据集则可能会有新的情况需要处理。因此,要对使用了正则表达式的任何SQL代码进行彻底测试。