知识卡片
Unicode码点不决定字节数
Unicode为字符分配码点,UTF编码再把码点转换成存储单元。给字符统一编号有利于跨语言交换,但码点编号本身并不规定它必须占2、3或4字节。
两端仍需使用一致且有效的编码解释字节,统一字符集不会自动消除所有乱码。原书列出的字符总量有明确历史时点,属于写作背景,不当作当前数量。
语言内部表示与文件或网络编码是不同问题。原书所述按最大码点选1/2/4字节是CPython的具体表示思路,不是所有Python实现必须采用的语言保证;Go字符串可保存任意字节,只有按UTF-8约定解释时才有对应码点序列。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
Unicode 是一种通用字符集,本质上是给每个字符分配一个编号(称为“码点”), 但它并没有规定在计算机 中如何存储这些字符码点。我们不禁会问:当多种长度的Unicode 码点同时出现在一个文本中时,系统如 何解析字符
- · 查看原书依据
这和字符串如何在文件中存储或在网络中 传输是不同的问题。在文件存储或网络传输中,我们通常会将字符串编码为UTF‑8 格式,以达到最优的兼容 性和空间效率。 第3 章 数据结构 3.5 小结 1. 重点回顾 hello‑a
参考来源
- 位置:《Hello 算法--Go版本》第03章《数据结构》(来源项目book-sources:extracted/Hello 算法--Go版本/_epub-src/OEBPS/Text/2.html;spine 1,归一字符[11413,11523))
- 结论依据:原文明确码点编号与未规定存储分离,纠正紧邻按字符占字节的混称。
- 原始内容:Unicode 是一种通用字符集,本质上是给每个字符分配一个编号(称为“码点”), 但它并没有规定在计算机 中如何存储这些字符码点。我们不禁会问:当多种长度的Unicode 码点同时出现在一个文本中时,系统如 何解析字符
补充原书证据:spine 1 / extracted/Hello 算法--Go版本/_epub-src/OEBPS/Text/2.html;归一字符[14307,14417)。
- 结论依据:原文明确内存表示与外部编码分离,限定具体语言实现与可含任意字节的Go字符串。
- 原始内容:这和字符串如何在文件中存储或在网络中 传输是不同的问题。在文件存储或网络传输中,我们通常会将字符串编码为UTF‑8 格式,以达到最优的兼容 性和空间效率。 第3 章 数据结构 3.5 小结 1. 重点回顾 hello‑a