知识卡片
集合去重会丢掉原有顺序
把列表转成集合再转回列表,是最短的 Python 去重写法:list(set(cleaned_data))。机制上,set 用哈希表存储元素,插入时重复键直接坍缩,于是转回 list 就只剩唯一值。代价有两层。
第一层是顺序。集合不保证保序,输出顺序由哈希布局决定,与原始语料的排列无关。原文的运行结果正好印证这点:输入里 Hello world 排在最前,去重输出中它仍在首位只是巧合,而”Hello world This is an example text with html tags”被排到了末位,说明输出次序已经重排。若后续步骤依赖样本顺序,例如按时间切分数据集或按文档边界拼接片段,这一步就会悄悄破坏前提。
第二层是成本。哈希去重接近线性时间,但要为每个唯一元素维护哈希表项,内存与唯一元素数量成正比;语料是海量短文本时,哈希表本身就可能压垮内存。同时 set 只认完全相同的字符串,大小写、空格、标点的细微差异都算不同条目,去重率高度依赖前面清洗的力度。
这两点决定了它的定位:适合中等规模、顺序不敏感的预处理阶段做粗去重,重排与内存问题要另作处理。它是 [[文本预处理的四道工序]] 的第二步,前承清洗,后接切片。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
此结果展示了从清洗到标注的整个过程,通过正则表达式处理、集合去重、文本切分以及简单的标签映射,实现了文本数据的清洗和标注。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0001.xhtml)
- 结论依据:原文用 `unique_data=list(set(cleaned_data))` 完成去重,并给出重排后的输出清单,可据此观察集合去重不保序。
- 原始内容:此结果展示了从清洗到标注的整个过程,通过正则表达式处理、集合去重、文本切分以及简单的标签映射,实现了文本数据的清洗和标注。