知识卡片
易取得不等于适合训练
抓取语料容易获取,仍可能包含偏见、虚假信息和低质量内容。按链接人气等启发式过滤只能解决部分问题,不等于保证可信。依赖现有大语料可以扩大训练,却不必然覆盖业务真正关心的任务,因此需要有目标的数据筛选。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 理解基础模型
原书出处 · 1 处
- · 查看原书依据
这种“使用现有数据,而非理想数据”的方法可能导致模型在训练数据覆盖的任务上表现良好,但未必能在你真正关注的任务上表现出色。为了解决这个问题,精心选择符合特定需求的数据集至关重要。本节重点介绍如何为特定语言和领域选择数据,从而为该范围内的应用奠定广泛而
参考来源
- 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:这种“使用现有数据,而非理想数据”的方法可能导致模型在训练数据覆盖的任务上表现良好,但未必能在你真正关注的任务上表现出色。为了解决这个问题,精心选择符合特定需求的数据集至关重要。本节重点介绍如何为特定语言和领域选择数据,从而为该范围内的应用奠定广泛而