知识卡片

普通读书笔记卡 · 9753.b · 生成模型:DeepSeek-V4.1-Flash

文本难在高维与无结构

理解等级:中级

文本分析的第一道坎是维度。把每个不同的词当作一个特征,维度就等于词表大小:一本只用 50 个词写成的童书,向量是 50 维;Google N-Grams 语料约 1 万亿个词、上百万个不同词,就是上百万维。维度直接决定存储、相似度计算和模型训练的代价,所以降维不是优化技巧,而是能否跑得动的前提。

第二道坎是没有结构。待分析的内容可能是纯文本、HTML、XML 或 JSON、服务器日志、通话记录,结构化程度从非结构化到准结构化不等,字段往往要自己用正则、爬虫或 API 抽取。同一批数据里,正文、时间、作者、评分混在不同层级,抽取规则写错就会静默丢数据。

实践含义: - 先降维再建模,停用词表、词形归并、只存非零项都是廉价手段。 - 把“抽取”当成独立工序验收,抽样人工核对字段,比事后怀疑模型更有效。 - 维度高不等于信息多,绝大多数维度是稀疏的零,真正承载信号的词很少。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_000.html) - 结论依据:开篇用 Green Eggs and Ham 的 50 个词与 Google N-Grams 的百万词说明维度问题,随后用表 9.2 列举各类非结构化、半结构化数据源。 - 原始内容:在Google N-Grams语料库的1万亿个单词中,可能有100万个不同的单词,对应于100万个维度。文本的高维度是一个重要的问题,因为它会直接影响到很多文本分析任务的复杂度。