原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
09 第9章 高级分析理论与方法:文本分析
, back, in, the, day, ., Then, the, bPhone, came, out, lol}
然而,基于标点符号的分词在特定情形下可能不太适合。例如,如果文本包含像是we’ll这样的缩写,基于标点的分词会把它们分离成分开的单词we和ll。
对于can’t这种词,输出会变成can和t。不将它们分词或者把we’ll标记成we和’ll,把can’t标记成can和'
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7