知识卡片
编码映射区分码点与字节
Unicode码点为字符提供编码身份,字符编码则规定码点如何表示为字节。编码从文本到字节,解码从字节到文本;Python3的ord/chr处理码点,并不是执行任意文件编码。相同字符可按不同编码得到不同字节和长度,不能从str的字符数量直接推出字节数。
ASCII只覆盖0到127,Latin-1把0到255映射为单字节;UTF-8对ASCII仍用相同单字节,对其他可编码字符用多字节。因此ASCII字节在这三者的共同范围兼容,但不代表Latin-1的所有非ASCII字节也都是有效UTF-8,更不代表UTF-16/32同样每字符一字节。
UTF-8按码点范围使用1到4字节,0x7ff仍属两字节范围,0x800起进入三字节范围。它不为非空码点额外引入零字节,但U+0000自身会编码为零,所以“UTF-8没有零字节”需保留这个边界。Unicode也不是ASCII、Latin-1和UTF-8这些编码名称的别名。
801及02157-02159用XYZ对照len=3、码点88/89/90、三种编码均bXYZ、list编码结果得到整数。这个单字节等价只适用于所示三种编码的ASCII范围;不能据正文“每种Unicode编码”推导UTF-16/32同样为三字节或没有BOM。
803的02161-02162用Äè对照:ASCII无法编码;Latin-1为C4 E8两字节,UTF-8为C3 84 C3 A8四字节,均用相应编码解码得长度2文本。两字节UTF-8是本例每个码点的结果,不是全部非ASCII字符都占两字节。原始字节块可能切在多字节序列中间,不能把每块当完整文本独立解码;文本IO可管理这种解码边界。
804的02163-02165用AÄBèC说明Latin-1长度5、UTF-8长度7,CP500/CP850又给不同字节。spam在CP500下也不是ASCII字节,因此ASCII兼容只能对具体编码作判断,不是“任何编码都会保留ASCII”。chr可构建同一码点文本,得到的字符身份与选择何种输出编码分开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- · 查看原书依据
每个字符产生多个字节。 例如,广为使用的UTF-8编码,通过采用可变的字节数的方案,允许表示众多的字符。小于128的字符代码表示为单个字节;128和0x7ff(2047)之间的代码转换为两个字节,而每个字节拥有一个128到255之间的值;0x7ff以上的代码转换为3个或4个字节序列,序列中的每个字节的值在128到255之间。这保持了ASCII字符串的紧凑,避
- · 查看原书依据
以这种方法编码ASCII文本而返回的bytes对象,其实是较短整数的一个序列,只不过这个序列尽可能地打印为ASCII字符:
- · 查看原书依据
由于读取部分字符序列可能引发的问题):
- · 查看原书依据
cp500 EBCDIC编码,它编码ASCII的方式,甚至和我们已经见过的方法都不同(由于Python为我们编码和解码,所以我们通常只是在提供编码名的时候才需要关注这一点): 从技术上讲,你也可以使用chr而不是Unicode转义或十六进制转义来构建Unicode字符串片段,但是,对于较大的字符串来说,这可能变得很繁琐: 这里有两点要注意。首先,Python