知识卡片

操作参考卡 · 9268.b · 生成模型:GPT-6

用户词频影响路径但非概率保证

理解等级:中级

jieba.load_userdict("userdict.txt")导入每行的词、可选词频与词性。词频参与候选竞争,但不是无条件成词概率或越大整体越好;图中5只是样例,官方省略词频时会计算所需值,不是统一默认5。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      结巴分词的基础词库较之Ltp分词要少一些,标准词典的词汇量约有35万个。上例的分词结果显示,一些专有名词的切分缺乏足够的精度,不仅出现粒度问题,还出现错分问题(如上例中的“树中”、“从根”)。由此可见,分词器的精度不仅受到算法的影响,更受到

    参考来源

    - 位置:《NLP汉语自然语言处理原理与实践 (郑捷)》第01章《中文语言的机器处理》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/NLP汉语自然语言处理原理与实践 (郑捷)/_epub-src/OEBPS/text00006.html) - 结论依据:摘录中关于用户词频影响路径但非概率保证的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:结巴分词的基础词库较之Ltp分词要少一些,标准词典的词汇量约有35万个。上例的分词结果显示,一些专有名词的切分缺乏足够的精度,不仅出现粒度问题,还出现错分问题(如上例中的“树中”、“从根”)。由此可见,分词器的精度不仅受到算法的影响,更受到 - 外部限定依据(2026-11-06核验):https://github.com/fxsjy/jieba#载入词典;分别限定算法、词频或系词中心,不冒充原书版本运行结果。