知识卡片

问题卡 · 6058

代理转义保留未知字节

理解等级:中级

surrogateescape把解码失败的0x80到0xFF字节映射到U+DC80到U+DCFF,之后以相同编码和surrogateescape编码可恢复原字节。因此可以在无法控制编码却不能丢数据的边界上,实现C字节与Python字符串往返。

这些独立代理码点不是正常的Unicode标量值,外部系统未必接受;严格编码可能失败,输出是否报错还取决于流的错误策略。它不会推断正确编码,若中途做了丢失信息的转换也不能保证往返。strict会拒绝无效数据,原文把它和ignore、replace都归为破坏内容不准确;replace对解码通常产生替换字符,也不是固定问号。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      PyUnicode_Decode(sdata, slen, "utf-8", "surrogateescape"); } /* Wrapper for the print_chars() function */ static PyObject *py_print_cha

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》15.16 同编码方式不确定的C字符串打交道(spine23;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0021.xhtml;u271-ch15-032)。 - 结论依据:完整读取本条问题、方案、代码与讨论;结论按真实控制流和适用前提表达,额外边界明确为解释或推导,示例未执行。 - 原始内容:PyUnicode_Decode(sdata, slen, "utf-8", "surrogateescape"); } /* Wrapper for the print_chars() function */ static PyObject *py_print_cha