知识卡片

普通读书笔记卡 · 8063

文本与字节需要明确转换

理解等级:中级

Python3的str表达Unicode文本,bytes表达字节序列;在文件和通信边界需明确文本编码与解码。文本模式与二进制模式接收和返回的对象不同,不能沿用Python2的str含义混用;原文最后一句译法混乱不当二进制文件返回str的规则。

Python3 str表示Unicode文本,bytes为字节序列,bytearray是可变字节序列;不能把ASCII入门例的字节数说法推广到任意str文本。Python2的str/unicode分工属于旧版。

bytearray可修改的是字节整数序列,不能把任意Unicode文本字符直接当单字节修改;频繁编辑文本应按实际表示和编码任务选择工具。

文本读取返回str,写入需str,数字需显式转换;二进制返回bytes且写入字节类对象。两者不是凭打印外观相近就能混用。

Python3文本模式按编码解码并可转换换行,bytes保留原始字节;bytes[0]取整数,切片取bytes。原书“所有字符串都是Unicode”需限定str,不包括bytes;编码/换行具体行为可配置。

792将国际化文本、图像/音频/打包数据与ASCII场景比较:场景决定所用接口,但ASCII内容并不消除str/bytes类型边界。sys.getdefaultencoding不能当文本文件默认编码的通用查询;encode/decode方法默认UTF-8,文件默认值则由该接口/配置/版本决定。旧文“美国Windows ASCII或UTF-8”不作为本机或所有平台事实。

795详细定义bytes为0..255整数序列:索引得int、切片得bytes、list得到整数;打印尽量显示ASCII不改变其本质。bytearray可原地修改字节,不能任意用Unicode字符直接赋入。str是码点序列,不把它当内存已按UTF-8编码或按平台默认编码储存的对象;ASCII文本只是其子集。原文Python2.8为版本笔误,保留2.X/2.6语境,不创造2.8版本。

796明确文本读取解码到str、写str时编码,二进制读取bytes、写字节类对象且无文本换行转换。模式带小写b选择这个接口,+与读写权限是另一维度;数据虽是CSV/XML等文本,也可能在边界先按bytes取得后交给专用解析器,不能只凭扩展名保证文本open必正确。

798的02151-02154对照B=bspam与S=eggs,bytes[0]为115而str[0]为e,切片各保留类型,list各为整数或单字符文本;两种类型都拒绝元素赋值。原文“可以把str/bytes/整数赋给偏移”与紧接的TypeError相矛盾,按实际图及不可变定义记录为不能赋值。

799列str.encode/bytes(text,encoding)与bytes.decode/str(bytes,encoding)两组对称接口。Python3这些方法默认UTF-8,不是按任意平台更换;sys.getdefaultencoding的显示不能替代open的具体默认策略。类型接口不会普遍自动混合str与bytes,是否接受仍由每个函数契约定义。

806与02170-02176完整对照2.6 str字节、u字面量、Latin1/UTF8转换、普通str不识别u/U转义、ASCII混合成功及C4非ASCII混合UnicodeDecodeError。隐式升级不是检测真实编码,必要时仍先decode(latin1)。2.6 codecs.open提供指定编码读写Unicode的旧接口说明,不能把它当Python3独立bytes模型;u前缀在3.0不可用也不代表3.3以后仍禁止。

814原文“二进制不会返回原始内容”与其后定义矛盾:二进制读取确实保留原始字节,不进行文本解码/换行转换。默认r/rt为文本输入;写入需要str或二进制字节类对象,模式与内容显示相似不能绕过类型契约。

815的02199向文本file写abc加换行,关闭再重新打开读取,结果为str。图中write返回注释写字节数不准确:文本write计字符,不能由ASCII例字节恰好同数推广。file在Python3不再是Python2那个内置构造名,但仍应为变量取能说明角色的名称。

821及02222给Python26的u文本、Latin1/UTF8编码和codecs.open写读,分别返回字节str或unicode。此为旧接口示例,不能仅换变量名就假定所有新旧文件类型、错误和版本兼容;对应转换方向仍是写编码、读解码。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 15 处

    • · 查看原书依据

      bytes类型表示原始字节字符串;在Python 2.6中,Unicode是一种单独的类型,str处理8位字符串和二进制数据。在Python 3.0中,文件也改变为返回和接受str,从而处理二进制数据的文本和字节。我们将会在后续章节学到这些特殊的字符串。

    • · 查看原书依据

      文本和二进制数据之间划出了一条清晰的界限。文本文件把内容显示为字符串,并且自动执行Unicode编码和解码;而二进制文件把内容显示为一个特定的字节字符串类型,并且允许你不修改地访问文件内容: 如果你只处理ASCII文本的话,通常不需要关心这一区别,尽管如此,如果你处理国际化的应用程序或者面向字节的数据,Python 3.0的字符串和文件是很有用的。

    • · 查看原书依据

      str用于Unicode文本(ASCII或其他),bytes用于二进制数据(包括编码的文本),bytearray是bytes的一种可变的变体。 ·在Python 2.6中,unicode字符串表示宽Unicode文本,str字符串处理8位文本和二进制数据。 bytearray类型在Python 2.6及其以后的版本中可用,但在更早的版本就不可用了,并且它在其

    • · 查看原书依据

      较小的、8位整数的序列。然而,它们支持和常规字符串相同的大多数操作,并且显示的时候打印为ASCII字符。同样,它们为必须频繁修改的大量文本提供了另一个选项。在第36章中,我们还将看到ord和chr处理Unicode字符,这是不能存储在单个字节中的字符。

    • · 查看原书依据

      内容是字符串,不是对象 注意从文件读取的数据回到脚本时是一个字符串。所以如果字符串不是你所需的,就得将其转换成其他类型的Python对象。同样,与print语句不同的是,当你把数据写入文件时,Python不会自动把对象转换为字符串——你必须传递一个已经格式化的字符串。因此,我们之前见过的处理文件时可以来回转换字符串和数字的工具迟早会派上用场(例如,int、f

    • · 查看原书依据

      文本文件把内容表示为常规的str字符串,自动执行Unicode编码和解码,并且默认执行末行转换。 ·二进制文件把内容表示为一个特殊的bytes字符串类型,并且允许程序不修改地访问文件内容。 相反,Python 2.6文本文件处理8位文本和二进制数据,并且有一种特殊的字符串类型和文件接口(unicode字符串和odecs.open)来处理Unicode文本。P

    • · 查看原书依据

      文本和二进制数据和文件的不同和严格区分。 ·如果不属于前面两种情况的任何一种,在Python 3.0中,通常可以像是在Python 2.6中一样使用字符串:使用通用的str字符串类型、文本文件,以及我们前面所介绍的所有熟悉的字符串操作。字符串将使用平台默认的编码来进行编码和解码(例如,美国的Windows上的ASCII或UTF-8,如果我们仔细检查的话,sy

    • · 查看原书依据

      一个8位整数的不可变序列,表示绝对的字节值。此外,Python 3.0的bytes类型支持几乎str类型所做的所有相同操作:这包括字符串方法、序列操作,甚至r e模块模式匹配;但是不包括字符串格式化。 一个Python 3.0 bytes对象其实只是较小整数的一个序列,其中每个整数的范围都在0到255之间;索引一个bytes将返回一个int,分片一个byte

    • · 查看原书依据

      二进制模式文件也接受一个bytearray对象作为写入文件中的内容。 由于str和bytes之间的语言差距明显,所以必须确定数据本质上是文本或二进制,并且在脚本中相应地使用str或bytes对象来表示其内容。最终,以何种模式打开一个文件将决定脚本使用何种类型的对象来表示其内容: ·如果正在处理图像文件,其他程序创建的、而且必须解压的打包数据,或者一些设备数据

    • · 查看原书依据

      bytes对象是不可修改的,就像str(尽管后面将要介绍的bytearray是可以修改的),我们可以把一个str、bytes或整数赋给一个bytes对象的偏移。bytes前缀对于任何字符串常量形式也有效: 正如前面提到的,在Python 2.6中,为了兼容性而使用b 'xxx',但是它与'xxx'是相同的,并且产生一个str,并且,bytes只是str的同义

    • · 查看原书依据

      str.encode()和bytes(S,encoding)把一个字符串转换为其raw bytes形式,并且在此过程中根据一个str创建一个bytes。 ·bytes.decode()和str(B,encoding)把raw bytes转换为其字符串形式,并且在此过程中根据一个bytes创建一个str。 encode和decode方法(以及文件对象,将在下一

    • · 查看原书依据

      只有在字符串和unicode对象的编码类型兼容的情况下才有效: 最后,正如我们将在本章稍后更具体介绍的,Python 2.6的open调用只支持8位字节的文件,将其内容返回为str字符串;将其内容解释为文本,还是解释为二进制数并根据需要解码,这取决于你。要读取和编写Unicode文件并自动编码或解码器内容,使用Python 2.6的codecs.open调用

    • · 查看原书依据

      没有编码或解码,也没有行末转换。 open的第二个参数是想要处理文本文件还是二进制文件,就像在Python 2.X中所做的一样,给这个字符串添加一个"b"表示二进制模式(例如,"rb"表示读取二进制数据文件)。默认的模式是"rt",这等同于"r",意味着文本输入(就像在Python 2.X中一样)。 然而,在Python 3.0中,open的这种模式参数也意

    • · 查看原书依据

      写入一个文件并将其读取回来,和在Python 2.6中的处理是一样的(注意,Python 3.0中file不再是内置的名称,因此,这里使用它作为变量完全没有问题):

    • · 查看原书依据

      用codecs.open来打开,在Python 2.6中的结果基本相同:

    参考来源

    - 位置:《Python学习手册(原书第4版)》第4章《编写字符串的其他方法》(spine505;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0476.html;u107-ch04-020)。 - 结论依据:原文在“bytes类型表示原始字节”附近的定义、例子或代码支撑本卡核心说明:Python3的str表达Unicode文本,bytes表达字节序列;在文件和通信边界需明确文本编码与解码。边界按已读前提解释;示例未执行。 - 原始内容:bytes类型表示原始字节字符串;在Python 2.6中,Unicode是一种单独的类型,str处理8位字符串和二进制数据。在Python 3.0中,文件也改变为返回和接受str,从而处理二进制数据的文本和字节。我们将会在后续章节学到这些特殊的字符串。 - 位置:《Python学习手册(原书第4版)》第4章《文件》(spine518;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0489.html;u123-ch04-020)。 - 结论依据:文本模式处理str并按编码解码,二进制模式返回bytes;即使字节内容恰是ASCII,也不消除两类接口的区别。原图文本write计数不能推广为字节数。 - 原始内容:文本和二进制数据之间划出了一条清晰的界限。文本文件把内容显示为字符串,并且自动执行Unicode编码和解码;而二进制文件把内容显示为一个特定的字节字符串类型,并且允许你不修改地访问文件内容: 如果你只处理ASCII文本的话,通常不需要关心这一区别,尽管如此,如果你处理国际化的应用程序或者面向字节的数据,Python 3.0的字符串和文件是很有用的。 - 位置:《Python学习手册(原书第4版)》第7章《第7章 字符串》(spine554;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0525.html;u168-ch04-020)。 - 结论依据:Python3 str表示Unicode文本,bytes为字节序列,bytearray是可变字节序列;不能把ASCII入门例的字节数说法推广到任意str文本。Python2的str/unicode分工属于旧版。 - 原始内容:str用于Unicode文本(ASCII或其他),bytes用于二进制数据(包括编码的文本),bytearray是bytes的一种可变的变体。 ·在Python 2.6中,unicode字符串表示宽Unicode文本,str字符串处理8位文本和二进制数据。 bytearray类型在Python 2.6及其以后的版本中可用,但在更早的版本就不可用了,并且它在其 - 位置:《Python学习手册(原书第4版)》第7章《修改字符串》(spine561;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0532.html;u178-ch04-020)。 - 结论依据:bytearray可修改的是字节整数序列,不能把任意Unicode文本字符直接当单字节修改;频繁编辑文本应按实际表示和编码任务选择工具。 - 原始内容:较小的、8位整数的序列。然而,它们支持和常规字符串相同的大多数操作,并且显示的时候打印为ASCII字符。同样,它们为必须频繁修改的大量文本提供了另一个选项。在第36章中,我们还将看到ord和chr处理Unicode字符,这是不能存储在单个字节中的字符。 - 位置:《Python学习手册(原书第4版)》第9章《使用文件》(spine597;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0568.html;u224-ch04-020)。 - 结论依据:文本读取返回str,写入需str,数字需显式转换;二进制返回bytes且写入字节类对象。两者不是凭打印外观相近就能混用。 - 原始内容:内容是字符串,不是对象 注意从文件读取的数据回到脚本时是一个字符串。所以如果字符串不是你所需的,就得将其转换成其他类型的Python对象。同样,与print语句不同的是,当你把数据写入文件时,Python不会自动把对象转换为字符串——你必须传递一个已经格式化的字符串。因此,我们之前见过的处理文件时可以来回转换字符串和数字的工具迟早会派上用场(例如,int、f - 位置:《Python学习手册(原书第4版)》第9章《实际应用中的文件》(spine598;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0569.html;u225-ch04-020)。 - 结论依据:Python3文本模式按编码解码并可转换换行,bytes保留原始字节;bytes[0]取整数,切片取bytes。原书“所有字符串都是Unicode”需限定str,不包括bytes;编码/换行具体行为可配置。 - 原始内容:文本文件把内容表示为常规的str字符串,自动执行Unicode编码和解码,并且默认执行末行转换。 ·二进制文件把内容表示为一个特殊的bytes字符串类型,并且允许程序不修改地访问文件内容。 相反,Python 2.6文本文件处理8位文本和二进制数据,并且有一种特殊的字符串类型和文件接口(unicode字符串和odecs.open)来处理Unicode文本。P - 位置:《Python学习手册(原书第4版)》第36章《Python 3.0中的字符串修改》(spine1035;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1006.html;u792-ch04-020)。 - 结论依据:792将国际化文本、图像/音频/打包数据与ASCII场景比较:场景决定所用接口,但ASCII内容并不消除str/bytes类型边界。sys.getdefaultencoding不能当文本文件默认编码的通用查询;encode/decode方法默认UTF-8,文件默认值则由该接口/配置/版本决定。旧文“美国Windows ASCII或UTF-8”不作为本机或所有平台事实。 - 原始内容:文本和二进制数据和文件的不同和严格区分。 ·如果不属于前面两种情况的任何一种,在Python 3.0中,通常可以像是在Python 2.6中一样使用字符串:使用通用的str字符串类型、文本文件,以及我们前面所介绍的所有熟悉的字符串操作。字符串将使用平台默认的编码来进行编码和解码(例如,美国的Windows上的ASCII或UTF-8,如果我们仔细检查的话,sy - 位置:《Python学习手册(原书第4版)》第36章《Python的字符串类型》(spine1037;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1008.html;u795-ch04-020)。 - 结论依据:795详细定义bytes为0..255整数序列:索引得int、切片得bytes、list得到整数;打印尽量显示ASCII不改变其本质。bytearray可原地修改字节,不能任意用Unicode字符直接赋入。str是码点序列,不把它当内存已按UTF-8编码或按平台默认编码储存的对象;ASCII文本只是其子集。原文Python2.8为版本笔误,保留2.X/2.6语境,不创造2.8版本。 - 原始内容:一个8位整数的不可变序列,表示绝对的字节值。此外,Python 3.0的bytes类型支持几乎str类型所做的所有相同操作:这包括字符串方法、序列操作,甚至r e模块模式匹配;但是不包括字符串格式化。 一个Python 3.0 bytes对象其实只是较小整数的一个序列,其中每个整数的范围都在0到255之间;索引一个bytes将返回一个int,分片一个byte - 位置:《Python学习手册(原书第4版)》第36章《文本和二进制文件》(spine1038;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1009.html;u796-ch04-020)。 - 结论依据:796明确文本读取解码到str、写str时编码,二进制读取bytes、写字节类对象且无文本换行转换。模式带小写b选择这个接口,+与读写权限是另一维度;数据虽是CSV/XML等文本,也可能在边界先按bytes取得后交给专用解析器,不能只凭扩展名保证文本open必正确。 - 原始内容:二进制模式文件也接受一个bytearray对象作为写入文件中的内容。 由于str和bytes之间的语言差距明显,所以必须确定数据本质上是文本或二进制,并且在脚本中相应地使用str或bytes对象来表示其内容。最终,以何种模式打开一个文件将决定脚本使用何种类型的对象来表示其内容: ·如果正在处理图像文件,其他程序创建的、而且必须解压的打包数据,或者一些设备数据 - 位置:《Python学习手册(原书第4版)》第36章《常量和基本属性》(spine1039;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1010.html;u798-ch04-020)。 - 结论依据:798的02151-02154对照B=bspam与S=eggs,bytes[0]为115而str[0]为e,切片各保留类型,list各为整数或单字符文本;两种类型都拒绝元素赋值。原文“可以把str/bytes/整数赋给偏移”与紧接的TypeError相矛盾,按实际图及不可变定义记录为不能赋值。 - 原始内容:bytes对象是不可修改的,就像str(尽管后面将要介绍的bytearray是可以修改的),我们可以把一个str、bytes或整数赋给一个bytes对象的偏移。bytes前缀对于任何字符串常量形式也有效: 正如前面提到的,在Python 2.6中,为了兼容性而使用b 'xxx',但是它与'xxx'是相同的,并且产生一个str,并且,bytes只是str的同义 - 位置:《Python学习手册(原书第4版)》第36章《转换》(spine1040;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1011.html;u799-ch04-020)。 - 结论依据:799列str.encode/bytes(text,encoding)与bytes.decode/str(bytes,encoding)两组对称接口。Python3这些方法默认UTF-8,不是按任意平台更换;sys.getdefaultencoding的显示不能替代open的具体默认策略。类型接口不会普遍自动混合str与bytes,是否接受仍由每个函数契约定义。 - 原始内容:str.encode()和bytes(S,encoding)把一个字符串转换为其raw bytes形式,并且在此过程中根据一个str创建一个bytes。 ·bytes.decode()和str(B,encoding)把raw bytes转换为其字符串形式,并且在此过程中根据一个bytes创建一个str。 encode和decode方法(以及文件对象,将在下一 - 位置:《Python学习手册(原书第4版)》第36章《在Python 2.6中编码Unicode字符串》(spine1046;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1017.html;u806-ch04-020)。 - 结论依据:806与02170-02176完整对照2.6 str字节、u字面量、Latin1/UTF8转换、普通str不识别u/U转义、ASCII混合成功及C4非ASCII混合UnicodeDecodeError。隐式升级不是检测真实编码,必要时仍先decode(latin1)。2.6 codecs.open提供指定编码读写Unicode的旧接口说明,不能把它当Python3独立bytes模型;u前缀在3.0不可用也不代表3.3以后仍禁止。 - 原始内容:只有在字符串和unicode对象的编码类型兼容的情况下才有效: 最后,正如我们将在本章稍后更具体介绍的,Python 2.6的open调用只支持8位字节的文件,将其内容返回为str字符串;将其内容解释为文本,还是解释为二进制数并根据需要解码,这取决于你。要读取和编写Unicode文件并自动编码或解码器内容,使用Python 2.6的codecs.open调用 - 位置:《Python学习手册(原书第4版)》第36章《使用文本文件和二进制文件》(spine1053;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1024.html;u814-ch04-020)。 - 结论依据:814原文“二进制不会返回原始内容”与其后定义矛盾:二进制读取确实保留原始字节,不进行文本解码/换行转换。默认r/rt为文本输入;写入需要str或二进制字节类对象,模式与内容显示相似不能绕过类型契约。 - 原始内容:没有编码或解码,也没有行末转换。 open的第二个参数是想要处理文本文件还是二进制文件,就像在Python 2.X中所做的一样,给这个字符串添加一个"b"表示二进制模式(例如,"rb"表示读取二进制数据文件)。默认的模式是"rt",这等同于"r",意味着文本输入(就像在Python 2.X中一样)。 然而,在Python 3.0中,open的这种模式参数也意 - 位置:《Python学习手册(原书第4版)》第36章《文本文件基础》(spine1053;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1024.html;u815-ch04-020)。 - 结论依据:815的02199向文本file写abc加换行,关闭再重新打开读取,结果为str。图中write返回注释写字节数不准确:文本write计字符,不能由ASCII例字节恰好同数推广。file在Python3不再是Python2那个内置构造名,但仍应为变量取能说明角色的名称。 - 原始内容:写入一个文件并将其读取回来,和在Python 2.6中的处理是一样的(注意,Python 3.0中file不再是内置的名称,因此,这里使用它作为变量完全没有问题): - 位置:《Python学习手册(原书第4版)》第36章《Python 2.6中的Unicode文件》(spine1058;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1029.html;u821-ch04-020)。 - 结论依据:821及02222给Python26的u文本、Latin1/UTF8编码和codecs.open写读,分别返回字节str或unicode。此为旧接口示例,不能仅换变量名就假定所有新旧文件类型、错误和版本兼容;对应转换方向仍是写编码、读解码。 - 原始内容:用codecs.open来打开,在Python 2.6中的结果基本相同: