知识卡片
分块解析须保留跨块尾段
按固定字节块读取远程文本时,块末可能落在一条记录中间。可先寻找本块最后一个完整分隔符,只解析此前的完整记录,并按该边界确定下一块读取起点,让未完成尾段随下一次读取补齐。边界必须按字节位置计算;若按字符数或直接丢弃尾段,遇到多字节编码和跨块换行容易漏记或重复。本书的 readLine 以 CRLF 分行,处理其他换行格式须另核。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第 6 章“6.7 解析远程文件”(源文件:`_epub-src/OEBPS/text00068.html`)。
- 结论依据:原文提出按 8M~64M 分块、用 `readLast` 找最后一行前的完整数据并记录字节位置,之后按行解析,下一块从记录位置读取。
- 原始内容:按块读取后解析如何处理截断数据?根据内存大小一次读取8M~64M的数据,通过readLast找到最后一行前面的所有数据,根据byte[]大小记录好位置,然后再通过readLine按行解析这个byte[]。