知识卡片

操作参考卡 · 8084 · 生成模型:未记录

编码名称决定标记处理

理解等级:中级

文本文件的BOM处理依所选编码,而不是看到“文本”就统一忽略开头字节。通用utf-16用BOM处理字节序;明确utf-16-le指定小端表示,不应把它与通用utf-16的标记策略混同。

UTF-8没有字节序选择,所谓BOM主要作签名。utf-8-sig编码会加签名,解码会跳过开头可选签名;普通utf-8不采用这套自动签名处理。UTF-8文件可以没有签名,不能从无BOM推断不是UTF-8,或把有BOM当所有文本接口自动识别编码的保证。

820的02214-02221完整对照:ASCII例没有BOM;旧Notepad UTF8带EF BB BF,普通utf8读取保留U+FEFF,utf8-sig跳过;UTF16大端带FE FF,用utf16读取消费标记,用utf16-be会保留对应U+FEFF。utf8-sig写入签名且读取无签名UTF8也可行,普通utf8写入不主动加签名。通用utf16文件流读取依赖BOM,明确utf16-le/be可读对应无标记内容。原文说输出“忽略”BOM不准确,应区分写出/省略和读取消费;也不是所有UTF16数据必含BOM。02220写temp.txt后某次读spam.txt,故不把该混用文件名的片段按原样说成单文件可复现实验。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      通用名称"utf-8"并不这么做)。 我们还将在本章后面的“在Python 3.0中处理BOM”一节中介绍更多有关BOM和文件的内容。首先,让我们探讨Python的新的Unicode字符串模型的含义。

    • · 查看原书依据

      更具体的UTF-16编码名称对于缺乏BOM的文件都工作得很好,尽管"utf-16"在输入时需要一个BOM以便确定字节顺序: 自己尝试实验这些编码,或者查看Python的库手册,以了解关于BOM的更多细节。

    参考来源

    - 位置:《Python学习手册(原书第4版)》第36章《文本和二进制文件》(spine1038;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1009.html;u796-ch36-002)。 - 结论依据:796后半段逐项比较UTF-16/32字节序、utf-16/utf-16-le及utf-8-sig/utf-8策略;官方codecs utf_8_sig说明核对可选签名,后文BOM专节继续补实际示例。 - 原始内容:通用名称"utf-8"并不这么做)。 我们还将在本章后面的“在Python 3.0中处理BOM”一节中介绍更多有关BOM和文件的内容。首先,让我们探讨Python的新的Unicode字符串模型的含义。 - 位置:《Python学习手册(原书第4版)》第36章《在Python 3.0中处理BOM》(spine1057;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1028.html;u820-ch36-002)。 - 结论依据:820的02214-02221完整对照:ASCII例没有BOM;旧Notepad UTF8带EF BB BF,普通utf8读取保留U+FEFF,utf8-sig跳过;UTF16大端带FE FF,用utf16读取消费标记,用utf16-be会保留对应U+FEFF。utf8-sig写入签名且读取无签名UTF8也可行,普通utf8写入不主动加签名。通用utf16文件流读取依赖BOM,明确utf16-le/be可读对应无标记内容。原文说输出“忽略”BOM不准确,应区分写出/省略和读取消费;也不是所有UTF16数据必含BOM。02220写temp.txt后某次读spam.txt,故不把该混用文件名的片段按原样说成单文件可复现实验。 - 原始内容:更具体的UTF-16编码名称对于缺乏BOM的文件都工作得很好,尽管"utf-16"在输入时需要一个BOM以便确定字节顺序: 自己尝试实验这些编码,或者查看Python的库手册,以了解关于BOM的更多细节。