知识卡片
去重依据需符合记录身份
duplicated标出所选列组合的重复,drop_duplicates按同一依据去除并保留指定出现次序。只按k1判重会把k2或v1不同的记录也视作同一组,因此“重复”是规则定义而不是整行必相同。先明确记录身份和顺序,再决定保留哪条,不能把删后行数减少当数据更准确。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
只希望根据k1列过滤重复项: In [130]: data['v1'] = range(7) In [131]: data.drop_duplicates(['k1']) Out[131]: k1 k2 v1 0 one 1 0 3 two 3 3 duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入take_last=T
- · 查看原书依据
drop_duplicates() 由于两个DataFrame对象中都有"group"和"description",所以为了明确到底谁是谁,我们需要对它们进行重命名: In [272]: col_mapping = {'description' : 'food', ...: 'group' : 'fgroup'} In [273]: info = info.
参考来源
- 位置:《利用Python进行数据分析》第7章《移除重复数据》(spine294;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0280.html;u155-ch07-019)。
- 结论依据:原文在“只希望根据k1列”附近的定义、例子或代码支撑本卡核心说明:duplicated标出所选列组合的重复,drop_duplicates按同一依据去除并保留指定出现次序。边界按已读前提解释;示例未执行。
- 原始内容:只希望根据k1列过滤重复项: In [130]: data['v1'] = range(7) In [131]: data.drop_duplicates(['k1']) Out[131]: k1 k2 v1 0 one 1 0 3 two 3 3 duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入take_last=T
- 位置:《利用Python进行数据分析》第7章《示例:USDA食品数据库》(spine296;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0282.html;u167-ch07-019)。
- 结论依据:原书按明细全部列移除14179重复项,结论依其样例范围;不能据发现重复就对所有营养记录按单一名称任意去重。
- 原始内容:drop_duplicates() 由于两个DataFrame对象中都有"group"和"description",所以为了明确到底谁是谁,我们需要对它们进行重命名: In [272]: col_mapping = {'description' : 'food', ...: 'group' : 'fgroup'} In [273]: info = info.