知识卡片

操作参考卡 · 8086 · 生成模型:未记录

转码先解码再编码

理解等级:中级

已有字节需要改成另一编码时,先用真实源编码解码为Unicode文本,再用目标编码重新编码;仅改变变量名、显示形式或编码标签都不改变原字节。已有str文本则可直接选择目标编码得到字节,不需要先假设它在内存中属于某个文件编码。

原例把AÄBèC编码为CP500字节T,再按CP500解码为U,最后按默认UTF-8编码,得到另一组字节。成功往返需要源解释正确、目标能表示这些码点,并选择合适错误策略;没有自动猜测任意未知编码的保证。

文本文件读取时解码、写入时编码。源码本身的编码、运行时str的字符身份和文件读写编码是不同阶段,不能把源文件声明当作所有运行期输出的默认编码。

819的02208-02212用AÄBèC对照5字符、Latin1五字节、UTF8七字节。open(…,w,encoding=…)写入同一str均返回5字符,二进制读取显出不同原始字节;按正确编码文本读取或二进制再decode还原对应文本。文本IO处理字符可能跨读取块的解码状态,不等于所有数据都可文本打开。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      我们必须显式地提供一个编码名称以进行编码和解码: 记住,只有当手动编写非ASCII Unicode的时候,才必须用到特殊的Unicode和十六进制字符转义。实际上,我们往往从文件载入这样的文本。正如我们将从本书稍后见到的,Python 3.0的文件对象(用open内置函数创建的)在读取文本字符串的时候自动地编码它们,并且在写入文本字符串的时候自动解码它们。因

    • · 查看原书依据

      文件输出编码 现在,要把我们的字符串以特定编码写入一个文本文件,我们可以直接把想要的编码名称传递给open,尽管我们可以先手动地编码并以二进制格式写入,但没有必要这么做: 文件输入编码 类似地,要读取任意的Unicode数据,我们直接把文件的编码类型名称传入open,并且,它自动根据raw bytes解码出字符串;我们也可以手动地读取raw byte并解码,

    参考来源

    - 位置:《Python学习手册(原书第4版)》第36章《转换编码》(spine1045;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1016.html;u805-ch36-005)。 - 结论依据:805正文及02169给str→CP500 bytes→str→UTF8 bytes完整路径;原文末段把读取编码/写入解码说反,与前面真实方法及文件机制不符,笔记明确按正确方向写。 - 原始内容:我们必须显式地提供一个编码名称以进行编码和解码: 记住,只有当手动编写非ASCII Unicode的时候,才必须用到特殊的Unicode和十六进制字符转义。实际上,我们往往从文件载入这样的文本。正如我们将从本书稍后见到的,Python 3.0的文件对象(用open内置函数创建的)在读取文本字符串的时候自动地编码它们,并且在写入文本字符串的时候自动解码它们。因 - 位置:《Python学习手册(原书第4版)》第36章《在Python 3.0中读取和写入Unicode》(spine1056;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1027.html;u819-ch36-005)。 - 结论依据:819的02208-02212用AÄBèC对照5字符、Latin1五字节、UTF8七字节。open(...,w,encoding=...)写入同一str均返回5字符,二进制读取显出不同原始字节;按正确编码文本读取或二进制再decode还原对应文本。文本IO处理字符可能跨读取块的解码状态,不等于所有数据都可文本打开。 - 原始内容:文件输出编码 现在,要把我们的字符串以特定编码写入一个文本文件,我们可以直接把想要的编码名称传递给open,尽管我们可以先手动地编码并以二进制格式写入,但没有必要这么做: 文件输入编码 类似地,要读取任意的Unicode数据,我们直接把文件的编码类型名称传入open,并且,它自动根据raw bytes解码出字符串;我们也可以手动地读取raw byte并解码,