知识卡片

普通读书笔记卡 · 6270.a

句界模型可从未标注文本学习

理解等级:中级

本书介绍Punkt从缩写、大写及共同出现等文本规律估计句界参数,不要求逐句人工标注训练样例。这说明无监督训练如何利用文本自身结构,不表示对所有语言或领域零误差;应用到新类型资料时仍需检查缩写和边界,必要时按代表性文本调整。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      非监督式学习算法(unsupervised learning algorithm);它不要求你以任何方式显示标记示例训练数据。相反,该算法检查出现在文本本身的某些特性,如大写字母的使用、共同出现的标记等,来获取将文本分解成句子的合适参数。 虽然NLTK的WhitespaceTokenizer会是我们介绍的最简单的分词器,它通过按空格分解文本创建单词,但是你已

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.3.2 人类语言数据的句子检测》(spine94;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0083.html;u078-ch05-016)。 - 结论依据:原文在“非监督式学习算法”附近的定义、例子或代码支撑本卡核心说明:本书介绍Punkt从缩写、大写及共同出现等文本规律估计句界参数,不要求逐句人工标注训练样例。边界按已读前提解释;示例未执行。 - 原始内容:非监督式学习算法(unsupervised learning algorithm);它不要求你以任何方式显示标记示例训练数据。相反,该算法检查出现在文本本身的某些特性,如大写字母的使用、共同出现的标记等,来获取将文本分解成句子的合适参数。 虽然NLTK的WhitespaceTokenizer会是我们介绍的最简单的分词器,它通过按空格分解文本创建单词,但是你已