知识卡片

普通读书笔记卡 · 6341

类别编码不等于实际数值

理解等级:初级

年龄、职业等列可能存的是类别编码,而不是可直接计算的实际数值。分析前需读相应数据字典,确认每个编码代表的类别及缺失约定;不能把编号大小直接解释为年龄差、职业等级或数量。数字外形和数据语义是两回事。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 3 处

    • · 查看原书依据

      以编码形式给出的,它们的具体含义请参考该数据集的README文件。分析散布在三个表中的数据可不是一件轻松的事情。假设我们想要根据性别和年龄计算某部电影的平均得分,如果将所有数据都合并到一个表中的话问题就简单多了。我们先用pandas的merge函数将ratings跟users合并到一起,然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪

    • · 查看原书依据

      labels属性: In [157]: cats.labels Out[157]: array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1]) In [158]: cats.levels Out[158]: Index([(18, 25], (25, 35], (35, 60], (60, 100]], dtype=object)

    • · 查看原书依据

      labels=False即可只获取分位数的编号。 # 返回分位数编号 In [102]: grouping = pd.qcut(frame.data1, 10, labels=False) In [103]: grouped = frame.data2.groupby(grouping) In [104]: grouped.apply(get_stats).

    参考来源

    - 位置:《利用Python进行数据分析》第2章《MovieLens 1M数据集》(spine258;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0244.html;u034-ch02-011)。 - 结论依据:原文在“以编码形式给出的”附近的定义、例子或代码支撑本卡核心说明:年龄、职业等列可能存的是类别编码,而不是可直接计算的实际数值。边界按已读前提解释;示例未执行。 - 原始内容:以编码形式给出的,它们的具体含义请参考该数据集的README文件。分析散布在三个表中的数据可不是一件轻松的事情。假设我们想要根据性别和年龄计算某部电影的平均得分,如果将所有数据都合并到一个表中的话问题就简单多了。我们先用pandas的merge函数将ratings跟users合并到一起,然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪 - 位置:《利用Python进行数据分析》第7章《离散化和面元划分》(spine294;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0280.html;u159-ch02-011)。 - 结论依据:Categorical的数字代码用于指向类别,不能把代码差值解释为年龄差;原书levels/labels为历史属性名称。 - 原始内容:labels属性: In [157]: cats.labels Out[157]: array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1]) In [158]: cats.levels Out[158]: Index([(18, 25], (25, 35], (35, 60], (60, 100]], dtype=object) - 位置:《利用Python进行数据分析》第9章《分位数和桶分析》(spine305;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0291.html;u203-ch02-011)。 - 结论依据:qcut返回0到9的箱编号时,编号是顺序类别,不是data1真实数值;需要跨样本比较还应保存对应分位边界。 - 原始内容:labels=False即可只获取分位数的编号。 # 返回分位数编号 In [102]: grouping = pd.qcut(frame.data1, 10, labels=False) In [103]: grouped = frame.data2.groupby(grouping) In [104]: grouped.apply(get_stats).