← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9673 · 生成模型:DeepSeek-V4.1-Flash

四类偏移只看两个分布

理解等级:中级

把数据看成联合分布,偏移就可以拆成“哪个因子变了”:输入分布、标签分布、条件分布。判别路径与对应的缓解手段见本章配图。

判据是:只有输入变、条件关系不变,是协变量偏移;只有标签先验变,是标签偏移;输入到输出的映射本身变了,是概念偏移;输入与条件关系一起变,是领域偏移,也称联合分布偏移。

严重性大致递增:协变量偏移下旧模型原则上仍可用,领域偏移要求模型同时适应新输入与新规则。但要注意两个反例:偏移幅度极大时,协变量偏移同样棘手;若能拿到足够的目标域标注,联合偏移也可控。此外这些类型并非互斥,边缘化会让一种偏移蕴含另一种。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第23章 数据分布偏移 · 查看原书依据

      数据分布偏移有几种类型,其中一些更容易造成问题。最常见的数据分布偏移是协变量偏移、标签偏移、概念偏移和领域偏移,所有这些都将在接下来的几节中详细讨论。

    参考来源

    - 位置:《大模型技术30讲》第23讲 数据分布偏移(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0030.xhtml) - 结论依据:第23.1–23.5节,综合图23-2 与各类型的定义 - 原始内容:数据分布偏移有几种类型,其中一些更容易造成问题。最常见的数据分布偏移是协变量偏移、标签偏移、概念偏移和领域偏移,所有这些都将在接下来的几节中详细讨论。