知识卡片
编码名称决定标记处理
文本文件的BOM处理依所选编码,而不是看到“文本”就统一忽略开头字节。通用utf-16用BOM处理字节序;明确utf-16-le指定小端表示,不应把它与通用utf-16的标记策略混同。
UTF-8没有字节序选择,所谓BOM主要作签名。utf-8-sig编码会加签名,解码会跳过开头可选签名;普通utf-8不采用这套自动签名处理。UTF-8文件可以没有签名,不能从无BOM推断不是UTF-8,或把有BOM当所有文本接口自动识别编码的保证。
820的02214-02221完整对照:ASCII例没有BOM;旧Notepad UTF8带EF BB BF,普通utf8读取保留U+FEFF,utf8-sig跳过;UTF16大端带FE FF,用utf16读取消费标记,用utf16-be会保留对应U+FEFF。utf8-sig写入签名且读取无签名UTF8也可行,普通utf8写入不主动加签名。通用utf16文件流读取依赖BOM,明确utf16-le/be可读对应无标记内容。原文说输出“忽略”BOM不准确,应区分写出/省略和读取消费;也不是所有UTF16数据必含BOM。02220写temp.txt后某次读spam.txt,故不把该混用文件名的片段按原样说成单文件可复现实验。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
通用名称"utf-8"并不这么做)。 我们还将在本章后面的“在Python 3.0中处理BOM”一节中介绍更多有关BOM和文件的内容。首先,让我们探讨Python的新的Unicode字符串模型的含义。
- · 查看原书依据
更具体的UTF-16编码名称对于缺乏BOM的文件都工作得很好,尽管"utf-16"在输入时需要一个BOM以便确定字节顺序: 自己尝试实验这些编码,或者查看Python的库手册,以了解关于BOM的更多细节。