知识卡片

聚类分析中矩阵选择的隐藏陷阱

专业/工作 · 201

内容

对关键词做聚类分析时,输入数据可以是原始的词篇0-1矩阵(记录某关键词是否出现在某文献中),也可以是先算好相似系数的相关/相异矩阵。看似殊途同归,实际有研究证明用相关矩阵会让统计软件把相似度计算两次,从而扭曲并高估相似度,导致后期聚类结果越来越难解释。这是一个提醒:分析流程中”先转换成看似更直接的中间表示”这一步,本身可能悄悄引入偏差,选择更贴近原始数据的输入形式往往更稳妥。

参考来源

《科学知识图谱:工具、方法与应用》第4章《4.1 多元统计分析理论方法》