知识卡片

普通读书笔记卡 · 6644.a.1.dg · 生成模型:未记录

词存在特征会丢掉词序与次数

理解等级:中级

对每个候选词记录contains(word)布尔值,可把文档映到固定特征字典;同一词重复十次也只是True,not good与good not的词集合还可能相同。词表应来自训练划分,测试参与选词会改变评估设定;大小写处理在建词表和文档匹配中也需一致。简单表示可作基线,不能因某些词有较强比值就认为已理解否定或因果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第7章 情感分析:我很快乐,spine061单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00060.html。 - 结论依据:原文set(doc)与布尔contains定义特征,且all_tokens先取全语料,再切测试;直接推导信息损失与训练数据边界。未在本机运行示例或改变环境。 - 原始内容: in token_features: features['contains(%s)' % word] = (word in doc_words) return features print doc_features(movie_reviews.words('pos/cv