知识卡片

普通读书笔记卡 · 3891

解析器必须处理边界情况

理解等级:中级

批量采集到的数据不能只按理想样例写解析器:价格符号、日期格式、不同周次缺少的字段等边界情况都要显式处理。把缺字段写成缺失值并统一时间格式,比让少量异常记录悄悄破坏整批数据更可靠;应以实际样本持续校验解析规则。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第18章《旧金山海湾区之殇:次贷危机的影响》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0427.xhtml) - 结论依据:原文列举格式转换、时间标准化和缺失字段填充,显示真实采集数据需要针对边界情况校验解析器。 - 原始内容:我们需要把价格格式的数据转换成常用的数字(通过删除“$”和点“.”符号),把时间解析成一致的格式