停用词与自定义词典解决分词的两类痛点

分词后处理要解决两类相反的问题：一类是噪音太多——”的”“是”等高频虚词没有实际含义却稀释统计信号，需靠停用词词典过滤，还要针对具体任务追加自定义停用词（如分析论文时”方法”“结果”这类套话也该当停用词）；另一类是信息丢失——通用分词工具认不出专业术语，会被错误切碎，需靠自定义词典把领域术语整体保留。这两类词典分别解决”滤掉不该留的”和”留住不该丢的”。