知识卡片

问题卡 · 6273

积累片段要在末尾收束

理解等级:中级

名词块提取器先积累当前片段,遇到下一名词块才把前片段追加到结果,但循环结束后没有追加最后一块,因而尾块会丢失。流式分段不仅要处理分隔边界,也要处理输入结束;空输入、仅一块和最后一块没有后继都是必要边界,不能靠下一条记录永远会到来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      current_entity_chunk = [] for (token, pos) in pos_tagged_tokens: if pos == previous_pos and pos.startswith('NN'): current_entity_chunk.append(token) elifpos.startswith('NN'): if cu

    • · 查看原书依据

      all_entity_chunks = [] previous_pos = None current_entity_chunk = [] for (token, pos) in sentence: if pos == previous_pos and pos.startswith('NN'): current_entity_chunk.append(toke

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.4 以实体为中心的分析:范式转换》(spine95;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0084.html;u080-ch05-027)。 - 结论依据:原文在“current_entity_chunk”附近的定义、例子或代码支撑本卡核心说明:名词块提取器先积累当前片段,遇到下一名词块才把前片段追加到结果,但循环结束后没有追加最后一块,因而尾块会丢失。边界按已读前提解释;示例未执行。 - 原始内容:current_entity_chunk = [] for (token, pos) in pos_tagged_tokens: if pos == previous_pos and pos.startswith('NN'): current_entity_chunk.append(token) elifpos.startswith('NN'): if cu - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.4.1 领会人类语言数据》(spine95;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0084.html;u081-ch05-027)。 - 结论依据:逐句提取也沿用相同漏收尾问题,每句话最后一块可能丢失。 - 原始内容:all_entity_chunks = [] previous_pos = None current_entity_chunk = [] for (token, pos) in sentence: if pos == previous_pos and pos.startswith('NN'): current_entity_chunk.append(toke