知识卡片
四类偏移只看两个分布
把数据看成联合分布,偏移就可以拆成“哪个因子变了”:输入分布、标签分布、条件分布。判别路径与对应的缓解手段见本章配图。
判据是:只有输入变、条件关系不变,是协变量偏移;只有标签先验变,是标签偏移;输入到输出的映射本身变了,是概念偏移;输入与条件关系一起变,是领域偏移,也称联合分布偏移。
严重性大致递增:协变量偏移下旧模型原则上仍可用,领域偏移要求模型同时适应新输入与新规则。但要注意两个反例:偏移幅度极大时,协变量偏移同样棘手;若能拿到足够的目标域标注,联合偏移也可控。此外这些类型并非互斥,边缘化会让一种偏移蕴含另一种。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第23章 数据分布偏移 · 查看原书依据
数据分布偏移有几种类型,其中一些更容易造成问题。最常见的数据分布偏移是协变量偏移、标签偏移、概念偏移和领域偏移,所有这些都将在接下来的几节中详细讨论。
参考来源
- 位置:《大模型技术30讲》第23讲 数据分布偏移(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0030.xhtml)
- 结论依据:第23.1–23.5节,综合图23-2 与各类型的定义
- 原始内容:数据分布偏移有几种类型,其中一些更容易造成问题。最常见的数据分布偏移是协变量偏移、标签偏移、概念偏移和领域偏移,所有这些都将在接下来的几节中详细讨论。