原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
使用机器学习算法来学习将文本分割为词元的最佳方法。这些方法有可能提升模型处理低资源语言和具有特定行话或术语的领域的性能。
好的分词方法可以在词元过多和过少之间取得平衡。词元过多会使序列建模变得困难,而词元太少会导致单词之间缺乏参数共享。这对于形态复杂的语言(如阿拉伯语和土耳其语)尤其成问题。每个词元应表示一个具有语言学或统计学上意义的单位。
总之,有效的分词对于在自然语言处理中取得高性能结果至关重要。 2.5.1 按空格分割 最简单的解决方案是应用split函
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d