知识卡片

问题卡 · 9653.b · 生成模型:DeepSeek-V4.1-Flash

小样本靠嵌入做最近邻

理解等级:中级

问题:只给每个类别一两个样本,分类器凭什么做对?

分析:一条实用路线是“学一个更好的嵌入,再做最近邻”。把查询样本编码成向量,与支撑集中每个样本的向量比距离,取最近者所属类别作为预测。它成立的前提是第1章的保结构性质——相似输入落在邻近位置;而第2章的自监督与对比训练,优化的正是“同类靠近、异类推远”。两章在这里合流:分类退化成一次距离检索,不必为每个新任务重训分类头。

另一条路线是元学习:直接更新模型参数,使它在看到少量样本后几步梯度就能适应新任务。两者可以叠加,用元学习来训练嵌入提取器。

边界与代价:效果高度依赖嵌入质量,支撑集与查询集存在域偏移时最近邻会失准;K=1 时单个样本的噪声直接决定决策边界;检索成本随支撑集线性增长,支撑集很大时需要近似最近邻。用途:字符识别、稀有类别识别、推荐冷启动等标注昂贵的场景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第3讲 小样本学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0007.xhtml) - 结论依据:第3章 3.1 元学习与“生成嵌入后在支撑集做最近邻搜索” - 原始内容:模型学会如何从支撑集中生成更好的嵌入表征,从而根据所找到的表征最相似的嵌入向量,对我们要推理的图像输出标签。