知识卡片

问题卡 · 5687.f

数字规范化应按类别映射

理解等级:中级

需要把不同文字中的十进制数字统一为ASCII时,可先选Unicode Nd类别,再按数值映射到0到9的代码点。这个目标不同于删除所有非ASCII字符,后者会把数字也丢掉。原书的460个数字统计依赖当时Unicode数据库,不能当成固定总数;转换也不负责解释小数点、正负号或完整数值格式。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      所有的Unicode十进制数字字符映射为它们对应的ASCII版本: >>> digitmap = { c: ord('0') + unicodedata.digit(chr(c)) ... for c in range(sys.maxunicode) ... if un

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》2.12 文本过滤和清理(spine10;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0008.xhtml;u035-ch02-020)。 - 结论依据:完整读取本条问题、代码与讨论;区分代码点序列、字符属性、规范化和有损清理,补充边界依官方原始文档核验。 - 原始内容:所有的Unicode十进制数字字符映射为它们对应的ASCII版本: >>> digitmap = { c: ord('0') + unicodedata.digit(chr(c)) ... for c in range(sys.maxunicode) ... if un