← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 471.b.2.a.4.a.1.d.1.b.11.c.1.b.7.b.3.d

扫描容量上限约束长token

理解等级:中级

Scanner可搬移未消费数据、扩展缓冲直到配置上限,默认最大token约64KiB;超长token会失败而非无限分配。可在扫描前设置Buffer,结束后检查Err,区分正常结束与过长或读入错误。上限与初始容量共同影响实际行为,不能将Buffer(buf,2)理解为一定截断成2字节。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • I/O · 查看原书依据

      maxTokenSize默认为64KB(64×1024B),即允许缓冲区扩张到64KB。修改后的代码如代码清单13-12所示。 代码清单13-12 允许缓冲区扩张将对分析结果产生影响 执行该代码段,其输出如下: found 可以看到,在失去了缓冲区大小限制后,只能输出一次toke

    参考来源

    - 位置:《深入浅出Go语言核心编程 (张朝明李奕锋甘海彬)》第13章《I/O》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/深入浅出Go语言核心编程 (张朝明李奕锋甘海彬)/_epub-src/EPUB/xhtml/isbn9787302649106_13;代码图像及OCR记录见_evidence/images.json、ocr.jsonl、ocr-zh.jsonl,关键歧义回看原图) - 结论依据:原文所述机制、条件及相邻代码示例支撑正文;对示例与通用规则的区分已在正文标明,不把图片OCR当作无误源码。 - 原始内容:maxTokenSize默认为64KB(64×1024B),即允许缓冲区扩张到64KB。修改后的代码如代码清单13-12所示。 代码清单13-12 允许缓冲区扩张将对分析结果产生影响 执行该代码段,其输出如下: found 可以看到,在失去了缓冲区大小限制后,只能输出一次toke