知识卡片
类别编码不等于实际数值
年龄、职业等列可能存的是类别编码,而不是可直接计算的实际数值。分析前需读相应数据字典,确认每个编码代表的类别及缺失约定;不能把编号大小直接解释为年龄差、职业等级或数量。数字外形和数据语义是两回事。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 类别编码不等于实际数值
- · 离散化和面元划分
- · 分位数和桶分析
原书出处 · 3 处
- · 查看原书依据
以编码形式给出的,它们的具体含义请参考该数据集的README文件。分析散布在三个表中的数据可不是一件轻松的事情。假设我们想要根据性别和年龄计算某部电影的平均得分,如果将所有数据都合并到一个表中的话问题就简单多了。我们先用pandas的merge函数将ratings跟users合并到一起,然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪
- · 查看原书依据
labels属性: In [157]: cats.labels Out[157]: array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1]) In [158]: cats.levels Out[158]: Index([(18, 25], (25, 35], (35, 60], (60, 100]], dtype=object)
- · 查看原书依据
labels=False即可只获取分位数的编号。 # 返回分位数编号 In [102]: grouping = pd.qcut(frame.data1, 10, labels=False) In [103]: grouped = frame.data2.groupby(grouping) In [104]: grouped.apply(get_stats).
参考来源
- 位置:《利用Python进行数据分析》第2章《MovieLens 1M数据集》(spine258;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0244.html;u034-ch02-011)。
- 结论依据:原文在“以编码形式给出的”附近的定义、例子或代码支撑本卡核心说明:年龄、职业等列可能存的是类别编码,而不是可直接计算的实际数值。边界按已读前提解释;示例未执行。
- 原始内容:以编码形式给出的,它们的具体含义请参考该数据集的README文件。分析散布在三个表中的数据可不是一件轻松的事情。假设我们想要根据性别和年龄计算某部电影的平均得分,如果将所有数据都合并到一个表中的话问题就简单多了。我们先用pandas的merge函数将ratings跟users合并到一起,然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪
- 位置:《利用Python进行数据分析》第7章《离散化和面元划分》(spine294;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0280.html;u159-ch02-011)。
- 结论依据:Categorical的数字代码用于指向类别,不能把代码差值解释为年龄差;原书levels/labels为历史属性名称。
- 原始内容:labels属性: In [157]: cats.labels Out[157]: array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1]) In [158]: cats.levels Out[158]: Index([(18, 25], (25, 35], (35, 60], (60, 100]], dtype=object)
- 位置:《利用Python进行数据分析》第9章《分位数和桶分析》(spine305;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0291.html;u203-ch02-011)。
- 结论依据:qcut返回0到9的箱编号时,编号是顺序类别,不是data1真实数值;需要跨样本比较还应保存对应分位边界。
- 原始内容:labels=False即可只获取分位数的编号。 # 返回分位数编号 In [102]: grouping = pd.qcut(frame.data1, 10, labels=False) In [103]: grouped = frame.data2.groupby(grouping) In [104]: grouped.apply(get_stats).