知识卡片
转码先解码再编码
已有字节需要改成另一编码时,先用真实源编码解码为Unicode文本,再用目标编码重新编码;仅改变变量名、显示形式或编码标签都不改变原字节。已有str文本则可直接选择目标编码得到字节,不需要先假设它在内存中属于某个文件编码。
原例把AÄBèC编码为CP500字节T,再按CP500解码为U,最后按默认UTF-8编码,得到另一组字节。成功往返需要源解释正确、目标能表示这些码点,并选择合适错误策略;没有自动猜测任意未知编码的保证。
文本文件读取时解码、写入时编码。源码本身的编码、运行时str的字符身份和文件读写编码是不同阶段,不能把源文件声明当作所有运行期输出的默认编码。
819的02208-02212用AÄBèC对照5字符、Latin1五字节、UTF8七字节。open(…,w,encoding=…)写入同一str均返回5字符,二进制读取显出不同原始字节;按正确编码文本读取或二进制再decode还原对应文本。文本IO处理字符可能跨读取块的解码状态,不等于所有数据都可文本打开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
我们必须显式地提供一个编码名称以进行编码和解码: 记住,只有当手动编写非ASCII Unicode的时候,才必须用到特殊的Unicode和十六进制字符转义。实际上,我们往往从文件载入这样的文本。正如我们将从本书稍后见到的,Python 3.0的文件对象(用open内置函数创建的)在读取文本字符串的时候自动地编码它们,并且在写入文本字符串的时候自动解码它们。因
- · 查看原书依据
文件输出编码 现在,要把我们的字符串以特定编码写入一个文本文件,我们可以直接把想要的编码名称传递给open,尽管我们可以先手动地编码并以二进制格式写入,但没有必要这么做: 文件输入编码 类似地,要读取任意的Unicode数据,我们直接把文件的编码类型名称传入open,并且,它自动根据raw bytes解码出字符串;我们也可以手动地读取raw byte并解码,