来源书籍
Designing Large Language Model Applications
章节与卡片
00 前言与阅读路线
3 张卡片
- 原型可运行不代表生产可靠 理解等级:中级 普通读书笔记卡
- 应用设计要理解模型原料 理解等级:中级 普通读书笔记卡
- 阅读结论要保留版本与模态范围 理解等级:中级 普通读书笔记卡
01 大语言模型入门
32 张卡片
- 下一词元训练学习概率分布 理解等级:中级 普通读书笔记卡
- 离散序列建模不限自然语言 理解等级:中级 普通读书笔记卡
- 缩放规律依资源约束解释 理解等级:高级 普通读书笔记卡
- 参数规模不单独决定适用性 理解等级:中级 普通读书笔记卡
- 涌现结论依赖评估粒度 理解等级:高级 普通读书笔记卡
- 预训练与任务适配职责不同 理解等级:中级 普通读书笔记卡
- 端到端整合仍需系统判断 理解等级:中级 普通读书笔记卡
- 采用讨论不等于收益证据 理解等级:中级 普通读书笔记卡
- 企业任务先按输入输出拆分 理解等级:中级 普通读书笔记卡
- 提示是带目标约束的上下文 理解等级:中级 普通读书笔记卡
- 乱序可读不代表顺序不重要 理解等级:中级 普通读书笔记卡
- 零样本提示明确输出空间 理解等级:中级 普通读书笔记卡
- 少样本示范不更新模型权重 理解等级:中级 普通读书笔记卡
- 提示漂移需要联合版本记录 理解等级:中级 普通读书笔记卡
- 分步解题须比较收益与成本 理解等级:中级 普通读书笔记卡
- 提示链拆分职责也增加接口 理解等级:中级 普通读书笔记卡
- 情绪提示不是稳定性能保证 理解等级:中级 普通读书笔记卡
- 角色指令与输入数据应分层 理解等级:高级 普通读书笔记卡
- 多候选还需要可靠选择标准 理解等级:中级 普通读书笔记卡
- 终止协议可能截断有效内容 理解等级:中级 普通读书笔记卡
- 采样温度调节分布不是事实性 理解等级:中级 普通读书笔记卡
- 词元概率不等于事实置信度 理解等级:高级 普通读书笔记卡
- 流畅回答仍可能缺少事实依据 理解等级:中级 普通读书笔记卡
- 单词频率不能裁定机器写作 理解等级:中级 普通读书笔记卡
- 语法模板只是检测候选特征 理解等级:中级 普通读书笔记卡
- 检索相似不保证包含答案 理解等级:中级 普通读书笔记卡
- 问答改写与回答生成职责不同 理解等级:中级 普通读书笔记卡
- 解析分块会决定下游可见证据 理解等级:中级 普通读书笔记卡
- 长上下文取舍不只看能否装入 理解等级:中级 普通读书笔记卡
- 原型失败应定位具体环节 理解等级:中级 普通读书笔记卡
- 应用方案以质量和资源共同验收 理解等级:中级 普通读书笔记卡
- 文档问答区分建库与查询链 理解等级:中级 结构图卡
02 预训练数据
42 张卡片
- 模型原料分为四类决策 理解等级:中级 普通读书笔记卡
- 基础与适配模型来自不同阶段 理解等级:中级 普通读书笔记卡
- 训练透明度影响故障解释范围 理解等级:中级 普通读书笔记卡
- 自监督从输入构造训练目标 理解等级:中级 普通读书笔记卡
- 文本可能省略任务所需背景 理解等级:中级 普通读书笔记卡
- 过程反馈与最终结果反馈有别 理解等级:中级 普通读书笔记卡
- 多轮重复不是新增独立信息 理解等级:中级 普通读书笔记卡
- 数据来源多样性需对应任务 理解等级:中级 普通读书笔记卡
- 公开可访问与可使用要分开 理解等级:中级 普通读书笔记卡
- 合成数据由种子与提示塑形 理解等级:中级 普通读书笔记卡
- 合成多样性可沿受控维度设计 理解等级:中级 普通读书笔记卡
- 预处理顺序依赖实际输入 理解等级:中级 普通读书笔记卡
- 网页文本抽取会引入系统偏差 理解等级:中级 普通读书笔记卡
- 结构化网页信息不应全当噪声 理解等级:中级 普通读书笔记卡
- 启发式清洗是近似筛选 理解等级:中级 普通读书笔记卡
- 语言概率不保证文本纯单语 理解等级:中级 普通读书笔记卡
- 质量标准会偏向参考分布 理解等级:高级 普通读书笔记卡
- 来源分类器不是质量真值器 理解等级:中级 普通读书笔记卡
- 困惑度衡量相对模型可预测性 理解等级:高级 普通读书笔记卡
- 困惑度筛选要防两端失真 理解等级:中级 普通读书笔记卡
- 去重需明确相似类型与粒度 理解等级:中级 普通读书笔记卡
- 去重与提高采样权重不矛盾 理解等级:中级 普通读书笔记卡
- 去重可降低记忆但不是清除保证 理解等级:中级 普通读书笔记卡
- 成员推断与训练提取目标不同 理解等级:中级 普通读书笔记卡
- 公开数据仍受原始语境约束 理解等级:中级 普通读书笔记卡
- 组合信息可能提高识别性 理解等级:中级 普通读书笔记卡
- 隐私标签体系需要任务约定 理解等级:中级 普通读书笔记卡
- 格式检测不同于真实身份验证 理解等级:中级 普通读书笔记卡
- 隐私规则须覆盖实际格式变化 理解等级:中级 普通读书笔记卡
- 隐私检测与处置分开验收 理解等级:中级 普通读书笔记卡
- 占位替换与同类替换各有代价 理解等级:中级 普通读书笔记卡
- 随机替换会改变群体分布 理解等级:中级 普通读书笔记卡
- 删除高风险来源牺牲部分覆盖 理解等级:中级 普通读书笔记卡
- 隐私措施需区分风险降低与保证 理解等级:高级 普通读书笔记卡
- 去污染针对评测信息泄漏 理解等级:中级 普通读书笔记卡
- 字符匹配不能覆盖语义污染 理解等级:中级 普通读书笔记卡
- 混合权重决定有效训练暴露 理解等级:中级 普通读书笔记卡
- 课程学习改变暴露顺序 理解等级:中级 普通读书笔记卡
- 训练频率可能影响任务行为 理解等级:中级 普通读书笔记卡
- 语料筛选不可能完全价值中立 理解等级:中级 普通读书笔记卡
- 关键词屏蔽忽略社会语境 理解等级:中级 普通读书笔记卡
- 数据治理各步骤要保留目的 理解等级:中级 结构图卡
03 词表与分词
25 张卡片
- 词表类型与文本实例可区分 理解等级:初级 普通读书笔记卡
- 词元编号只在特定词表有意义 理解等级:中级 普通读书笔记卡
- 词元边界不等于概念边界 理解等级:中级 普通读书笔记卡
- 大小写归一是信息取舍 理解等级:中级 普通读书笔记卡
- 未知词占位会合并不同信息 理解等级:中级 普通读书笔记卡
- 字符编码用更长序列换覆盖 理解等级:中级 普通读书笔记卡
- 词表大小平衡压缩与学习信号 理解等级:高级 普通读书笔记卡
- 训练分词器与调用分词器分开 理解等级:中级 普通读书笔记卡
- 拼写变体会改变序列形状 理解等级:中级 普通读书笔记卡
- 免子词模型仍有输入单位 理解等级:中级 普通读书笔记卡
- 归一化可能不可逆丢信息 理解等级:中级 普通读书笔记卡
- 预切分限制后续合并范围 理解等级:中级 普通读书笔记卡
- 偏移位置用于对齐原文 理解等级:中级 普通读书笔记卡
- 字节对训练按频次逐轮合并 理解等级:中级 普通读书笔记卡
- 字节对编码遵循学习合并顺序 理解等级:中级 普通读书笔记卡
- 完整字节基底解决表示覆盖 理解等级:中级 普通读书笔记卡
- 词片推断从当前位置贪心匹配 理解等级:高级 普通读书笔记卡
- 词片合并评分不是只看低频 理解等级:高级 普通读书笔记卡
- 后处理添加模型协议符号 理解等级:中级 普通读书笔记卡
- 工具标记需要系统执行语义 理解等级:中级 普通读书笔记卡
- 稀有词元可能缺乏训练 理解等级:中级 普通读书笔记卡
- 生育率依赖词数定义 理解等级:中级 普通读书笔记卡
- 跨语言比较须用对齐内容 理解等级:中级 普通读书笔记卡
- 扩词表还需扩嵌入并学习 理解等级:高级 普通读书笔记卡
- 分词是带模型约定的流水线 理解等级:中级 结构图卡
04 架构与学习目标
36 张卡片
- 反向传播与参数更新职责不同 理解等级:中级 普通读书笔记卡
- 分布假说提供语境表征线索 理解等级:中级 普通读书笔记卡
- 输入嵌入按词元编号查表 理解等级:中级 普通读书笔记卡
- 注意力通过键匹配聚合值 理解等级:中级 普通读书笔记卡
- 缩放点积抑制分数尺度增长 理解等级:高级 普通读书笔记卡
- 多头提供并行投影子空间 理解等级:中级 普通读书笔记卡
- 注意力图不能消除指代歧义 理解等级:中级 普通读书笔记卡
- 位置表示补充序列顺序线索 理解等级:中级 普通读书笔记卡
- 线性偏置与旋转位置不同 理解等级:高级 普通读书笔记卡
- 逐位置前馈不混合相邻词元 理解等级:中级 普通读书笔记卡
- 层归一沿每个位置特征计算 理解等级:高级 普通读书笔记卡
- 归一化位置必须看残差公式 理解等级:高级 普通读书笔记卡
- 独热交叉熵只取目标项 理解等级:中级 普通读书笔记卡
- 困惑度的指数底数须匹配 理解等级:高级 普通读书笔记卡
- 均匀猜测不是困惑度最坏值 理解等级:中级 普通读书笔记卡
- 内部指标不替代任务验收 理解等级:中级 普通读书笔记卡
- 编码器与解码器按可见性分工 理解等级:中级 普通读书笔记卡
- 模型家族选择仍需任务实测 理解等级:中级 普通读书笔记卡
- 注意力块按计算职责连接 理解等级:中级 结构图卡
- 稀疏专家分开总容量与活跃量 理解等级:高级 普通读书笔记卡
- 词元选专家需要处理负载失衡 理解等级:中级 普通读书笔记卡
- 专家选词元改变分配约束 理解等级:高级 普通读书笔记卡
- 专家门控不等于人类专业标签 理解等级:中级 普通读书笔记卡
- 稠密模型转专家还要继续训练 理解等级:中级 普通读书笔记卡
- 全语言目标只看前缀预测后继 理解等级:中级 普通读书笔记卡
- 前缀语言目标分开可见性与计分 理解等级:高级 普通读书笔记卡
- 掩码目标只在选定位置计分 理解等级:高级 普通读书笔记卡
- 跨度恢复用哨兵标识缺失块 理解等级:中级 普通读书笔记卡
- 去噪任务通过破坏构造监督 理解等级:中级 普通读书笔记卡
- 混合去噪覆盖不同预测形态 理解等级:中级 普通读书笔记卡
- 目标密度不是训练效率全貌 理解等级:高级 普通读书笔记卡
- 下一词分数不能直接当解题判断 理解等级:中级 普通读书笔记卡
- 领域记号改变学习表示成本 理解等级:中级 普通读书笔记卡
- 等量案例不等于等量训练预算 理解等级:高级 普通读书笔记卡
- 领域生成先验收规则合法性 理解等级:中级 普通读书笔记卡
- 训练原料要随实验一起固定 理解等级:中级 普通读书笔记卡
05 按任务适配模型
36 张卡片
- 模型选择先列硬约束与取舍 理解等级:中级 普通读书笔记卡
- 全生命周期成本不只含词元费 理解等级:中级 普通读书笔记卡
- 开放程度需要逐项说明 理解等级:中级 普通读书笔记卡
- 使用许可必须绑定具体制品 理解等级:中级 普通读书笔记卡
- 指令适配改变行为也可能回退 理解等级:中级 普通读书笔记卡
- 偏好对齐反映特定评价标准 理解等级:中级 普通读书笔记卡
- 上下文容量不等于有效利用 理解等级:中级 普通读书笔记卡
- 领域适配与任务适配分开 理解等级:中级 普通读书笔记卡
- 社区支持是维护成本的线索 理解等级:中级 普通读书笔记卡
- 公开基准先看能力覆盖 理解等级:中级 普通读书笔记卡
- 榜单小幅领先不必触发换模 理解等级:中级 普通读书笔记卡
- 选择题评分协议影响排名 理解等级:高级 普通读书笔记卡
- 污染探针只提供调查线索 理解等级:高级 普通读书笔记卡
- 偏好排序受样本和展示影响 理解等级:中级 普通读书笔记卡
- 安全评估须写清标准与场景 理解等级:中级 普通读书笔记卡
- 自动裁判也需可见量规与校准 理解等级:中级 普通读书笔记卡
- 提示和解码属于评估条件 理解等级:中级 普通读书笔记卡
- 权重内存只是推理占用下限 理解等级:高级 普通读书笔记卡
- 数值格式改变范围和精度 理解等级:中级 普通读书笔记卡
- 卸载以数据搬运换可容纳性 理解等级:中级 普通读书笔记卡
- 本地运行工具不消除模型配置 理解等级:中级 普通读书笔记卡
- 托管与自建按端到端成本比较 理解等级:中级 普通读书笔记卡
- 贪心只优化当前词元选择 理解等级:中级 普通读书笔记卡
- 束搜索维护多条候选前缀 理解等级:高级 普通读书笔记卡
- 固定候选数与累计质量不同 理解等级:中级 普通读书笔记卡
- 采样参数要与生成模式配合 理解等级:中级 普通读书笔记卡
- 低温与固定种子不保证全环境确定 理解等级:高级 普通读书笔记卡
- 多数投票聚合答案并非验证真值 理解等级:中级 普通读书笔记卡
- 结构格式与内容正确分开验收 理解等级:中级 普通读书笔记卡
- 约束解码限制的是可生成串 理解等级:高级 普通读书笔记卡
- 模板填充需识别支持范围 理解等级:中级 普通读书笔记卡
- 显著性图与注意力图含义不同 理解等级:高级 普通读书笔记卡
- 扰动输入只能支持限定诊断 理解等级:中级 普通读书笔记卡
- 单神经元可能混合多个特征 理解等级:高级 普通读书笔记卡
- 稀疏字典特征是分析近似 理解等级:高级 普通读书笔记卡
- 调试结果回到任务样本验证 理解等级:中级 普通读书笔记卡
06 微调
34 张卡片
- 微调改变权重而非塞入更多提示 理解等级:中级 普通读书笔记卡
- 更新知识与学习行为分开选择 理解等级:中级 普通读书笔记卡
- 标签定义要排除相似但不同情形 理解等级:中级 普通读书笔记卡
- 优化器状态按可训练参数计量 理解等级:高级 普通读书笔记卡
- 优化器内存依算法与实现 理解等级:高级 普通读书笔记卡
- 低位优化器压缩状态而非全部训练 理解等级:中级 普通读书笔记卡
- 分页优化器用主存缓解显存压力 理解等级:中级 普通读书笔记卡
- 学习率须与目标和配置联合调节 理解等级:中级 普通读书笔记卡
- 预热与衰减控制不同训练阶段 理解等级:中级 普通读书笔记卡
- 检查点重算用计算换激活内存 理解等级:中级 普通读书笔记卡
- 梯度累积改变更新批量 理解等级:高级 普通读书笔记卡
- 混合精度不同于低位量化 理解等级:中级 普通读书笔记卡
- 校准要求频率匹配概率 理解等级:高级 普通读书笔记卡
- 标签平滑改变监督分布 理解等级:高级 普通读书笔记卡
- 嵌入噪声只在训练时扰动 理解等级:中级 普通读书笔记卡
- 批量大小取决于负载和目标 理解等级:中级 普通读书笔记卡
- 梯度裁剪限制范数不修复目标 理解等级:中级 普通读书笔记卡
- 按长度分组减少无效补齐 理解等级:中级 普通读书笔记卡
- 低秩适配的秩不是注意力维数 理解等级:高级 普通读书笔记卡
- 配置开关须按指定版本验证 理解等级:高级 普通读书笔记卡
- 序列打包需定义样本边界 理解等级:高级 普通读书笔记卡
- 训练数据字段必须实际对齐 理解等级:中级 普通读书笔记卡
- 保存适配器不同于保存完整模型 理解等级:中级 普通读书笔记卡
- 消融实验要控制随机波动 理解等级:中级 普通读书笔记卡
- 指令数据包含任务语义与答案 理解等级:中级 普通读书笔记卡
- 模板改写应保持任务等价 理解等级:中级 普通读书笔记卡
- 标签选项帮助限定输出形式 理解等级:中级 普通读书笔记卡
- 正反例共同说明标注边界 理解等级:中级 普通读书笔记卡
- 先生成输入可能造成标签失衡 理解等级:中级 普通读书笔记卡
- 种子质量限定合成数据方向 理解等级:中级 普通读书笔记卡
- 指令演化分开难度与广度 理解等级:中级 普通读书笔记卡
- 少量优质数据结论有任务范围 理解等级:中级 普通读书笔记卡
- 超参数优化不能替代数据修正 理解等级:中级 普通读书笔记卡
- 微调闭环从标签到独立验收 理解等级:中级 结构图卡
07 进阶微调技术
26 张卡片
- 更新参数先说明适配目的 理解等级:中级 普通读书笔记卡
- 领域与任务自适应范围不同 理解等级:中级 普通读书笔记卡
- 领域选择可用表示相似度辅助 理解等级:中级 普通读书笔记卡
- 继续训练面临学习与保留取舍 理解等级:中级 普通读书笔记卡
- 回放混合保留旧分布信号 理解等级:中级 普通读书笔记卡
- 继续训练学习率平衡新旧目标 理解等级:中级 普通读书笔记卡
- 蒸馏约束需明确比较对象 理解等级:高级 普通读书笔记卡
- 参数扩展需保护既有共享路径 理解等级:高级 普通读书笔记卡
- 域专家学习仍依赖路由 理解等级:高级 普通读书笔记卡
- 参数高效不等于前向计算很少 理解等级:高级 普通读书笔记卡
- 瓶颈适配器先降维再升维 理解等级:中级 普通读书笔记卡
- 适配器初始行为应接近基座 理解等级:中级 普通读书笔记卡
- 删减适配层须重新测质量 理解等级:中级 普通读书笔记卡
- 前缀适配训练层内虚拟上下文 理解等级:高级 普通读书笔记卡
- 软提示适配只训练输入向量 理解等级:中级 普通读书笔记卡
- 多任务混批能力取决于执行实现 理解等级:高级 普通读书笔记卡
- 子集微调保留参数也限制容量 理解等级:中级 普通读书笔记卡
- 微调能否获得新能力要可检验 理解等级:高级 普通读书笔记卡
- 输出集成与权重融合分层不同 理解等级:中级 普通读书笔记卡
- 候选排序需要可聚合比较规则 理解等级:高级 普通读书笔记卡
- 生成融合需保留证据和冲突 理解等级:中级 普通读书笔记卡
- 权重平均需要参数坐标兼容 理解等级:高级 普通读书笔记卡
- 融合不能保证遗忘敏感信息 理解等级:高级 普通读书笔记卡
- 协作融合须检验任务间干扰 理解等级:中级 普通读书笔记卡
- 适配器平均也有结构约束 理解等级:高级 普通读书笔记卡
- 适配方案按变化层次选择 理解等级:中级 结构图卡
08 对齐训练与推理
37 张卡片
- 对齐目标需要拆解为可评估行为 理解等级:中级 普通读书笔记卡
- 偏好反馈有不同信息粒度 理解等级:中级 普通读书笔记卡
- 对齐监督先学习示范响应 理解等级:中级 普通读书笔记卡
- 奖励模型拟合相对人类偏好 理解等级:高级 普通读书笔记卡
- 策略优化需要奖励与偏移约束 理解等级:高级 普通读书笔记卡
- 偏好样本必须共享比较上下文 理解等级:中级 普通读书笔记卡
- 幻觉评估先声明事实参照 理解等级:中级 普通读书笔记卡
- 知识与自知需分别评估 理解等级:中级 普通读书笔记卡
- 置信信号必须经过校准 理解等级:高级 普通读书笔记卡
- 检索增强不能保证无幻觉 理解等级:中级 普通读书笔记卡
- 多次生成一致不代表事实正确 理解等级:中级 普通读书笔记卡
- 验证问题应独立作答再修订 理解等级:中级 普通读书笔记卡
- 复述中间材料仍是模型生成 理解等级:中级 普通读书笔记卡
- 采样多样性与事实风险要实测 理解等级:中级 普通读书笔记卡
- 事实核采样逐步收紧候选集 理解等级:高级 普通读书笔记卡
- 层间对比分布突出晚层变化 理解等级:高级 普通读书笔记卡
- 预训练分块应保留实体语境 理解等级:中级 普通读书笔记卡
- 句子补全损失改变训练关注点 理解等级:高级 普通读书笔记卡
- 上下文忠实性不同于事实正确 理解等级:中级 普通读书笔记卡
- 证据缺字段应保留未知 理解等级:初级 普通读书笔记卡
- 回看特征需按原定义计算 理解等级:高级 普通读书笔记卡
- 幻觉分类指导解码先核标签 理解等级:高级 普通读书笔记卡
- 多重条件要逐项验证满足 理解等级:中级 普通读书笔记卡
- 清理无关上下文避免提示污染 理解等级:中级 普通读书笔记卡
- 演绎结论依赖前提成立 理解等级:中级 普通读书笔记卡
- 归纳结论保留样本外不确定性 理解等级:初级 普通读书笔记卡
- 溯因解释需比较竞争原因 理解等级:中级 普通读书笔记卡
- 常识推断也依赖隐含条件 理解等级:初级 普通读书笔记卡
- 推理机制假说不能取代泛化测量 理解等级:高级 普通读书笔记卡
- 思维链文本不自动证明推理 理解等级:中级 普通读书笔记卡
- 生成候选与验证正确分工 理解等级:中级 普通读书笔记卡
- 反馈循环必须有终止预算 理解等级:中级 普通读书笔记卡
- 并行多候选受覆盖与验证限制 理解等级:高级 普通读书笔记卡
- 推理时算力分配要按任务衡量 理解等级:高级 普通读书笔记卡
- 概率空间搜索需要质量信号 理解等级:高级 普通读书笔记卡
- 推理训练链须核实中间算术 理解等级:中级 普通读书笔记卡
- 对齐与事实性需要多层验收 理解等级:中级 结构图卡
09 推理优化
30 张卡片
- 推理优化先辨别瓶颈阶段 理解等级:中级 普通读书笔记卡
- 优化收益需同时报告代价 理解等级:中级 普通读书笔记卡
- 键值缓存复用既有前缀计算 理解等级:高级 普通读书笔记卡
- 跨请求缓存必须匹配前缀 理解等级:中级 普通读书笔记卡
- 缓存容量与生命周期共同管理 理解等级:中级 普通读书笔记卡
- 序列级早退减少整段计算深度 理解等级:中级 普通读书笔记卡
- 令牌级早退要补齐层间依赖 理解等级:高级 普通读书笔记卡
- 动态计算需评估路由开销 理解等级:高级 普通读书笔记卡
- 蒸馏压缩的是指定任务行为 理解等级:中级 普通读书笔记卡
- 教师响应构成任务蒸馏信号 理解等级:中级 普通读书笔记卡
- 蒸馏扩增要检查输入多样性 理解等级:中级 普通读书笔记卡
- 白盒蒸馏要明确表示对齐 理解等级:高级 普通读书笔记卡
- 教师反馈与自教都需质量筛选 理解等级:中级 普通读书笔记卡
- 蒸馏目标取决于可见接口 理解等级:高级 普通读书笔记卡
- 弱监督可唤起强模型已有表示 理解等级:高级 普通读书笔记卡
- 小规模蒸馏成功不能泛化卡数 理解等级:中级 普通读书笔记卡
- 推测解码批量验证草稿 理解等级:高级 普通读书笔记卡
- 草稿接受率不等于系统加速 理解等级:高级 普通读书笔记卡
- 草稿模型可由不同路径构造 理解等级:中级 普通读书笔记卡
- 章节并行依赖内容可分解 理解等级:中级 普通读书笔记卡
- 多令牌头仍需要联合选择 理解等级:高级 普通读书笔记卡
- 浮点范围与精度是不同维度 理解等级:中级 普通读书笔记卡
- 浮点最小值须区分具体含义 理解等级:中级 普通读书笔记卡
- 整数量化必须保存尺度约定 理解等级:中级 普通读书笔记卡
- 对称量化让实数零对应零码 理解等级:高级 普通读书笔记卡
- 非对称量化引入零点 理解等级:高级 普通读书笔记卡
- 离群裁剪以尾部误差换分辨率 理解等级:中级 普通读书笔记卡
- 权重与激活的量化统计不同 理解等级:中级 普通读书笔记卡
- 动态与静态量化各有成本 理解等级:中级 普通读书笔记卡
- 优化路线按资源和质量选择 理解等级:中级 结构图卡
10 外部工具与智能体
41 张卡片
- 交互范式按决策归属区分 理解等级:中级 普通读书笔记卡
- 被动检索将证据选择交给检索器 理解等级:中级 普通读书笔记卡
- 固定工作流约束步骤自由度 理解等级:中级 普通读书笔记卡
- 自主流程必须管理中间依赖 理解等级:中级 普通读书笔记卡
- 可靠性目标取决于失败后果 理解等级:中级 普通读书笔记卡
- 智能体定义需声明自主范围 理解等级:初级 普通读书笔记卡
- 任务分解先固定时间和口径 理解等级:中级 普通读书笔记卡
- 模型分工按任务接口组织 理解等级:中级 普通读书笔记卡
- 工具定义应明确能力与参数 理解等级:中级 普通读书笔记卡
- 模型生成调用由运行时执行 理解等级:中级 普通读书笔记卡
- 工具选择需要时效和适用范围 理解等级:初级 普通读书笔记卡
- 调用协议须区分等待与结束 理解等级:高级 普通读书笔记卡
- 参数结构校验不等于业务有效 理解等级:中级 普通读书笔记卡
- 工具很多时按需取详细说明 理解等级:中级 普通读书笔记卡
- 查询生成应绑定当前库结构 理解等级:高级 普通读书笔记卡
- 解释器接入必须隔离执行环境 理解等级:中级 普通读书笔记卡
- 提示仓库保存可复用任务程序 理解等级:中级 普通读书笔记卡
- 会话记忆保存动作与反馈证据 理解等级:中级 普通读书笔记卡
- 个性化偏好与任务事实分开存 理解等级:中级 普通读书笔记卡
- 可观测轨迹应支持失败定位 理解等级:中级 普通读书笔记卡
- 工具资料与业务知识职责不同 理解等级:中级 普通读书笔记卡
- 循环提示传递当前状态与角色 理解等级:中级 普通读书笔记卡
- 行动观察循环应以真实结果推进 理解等级:中级 普通读书笔记卡
- 反思要由可识别故障触发 理解等级:中级 普通读书笔记卡
- 护栏与验证器检查对象不同 理解等级:中级 普通读书笔记卡
- 输入输出检测器都有漏检边界 理解等级:中级 普通读书笔记卡
- 验证失败需要明确处置策略 理解等级:中级 普通读书笔记卡
- 重试与回退是不同恢复层次 理解等级:中级 普通读书笔记卡
- 摘要质量需拆成独立标准 理解等级:中级 普通读书笔记卡
- 摘要相关性与完整性分母不同 理解等级:中级 普通读书笔记卡
- 蕴含检验只能验证来源支持 理解等级:高级 普通读书笔记卡
- 数值出现不等于关系正确 理解等级:中级 普通读书笔记卡
- 具体性检查须与内容相关 理解等级:中级 普通读书笔记卡
- 完整性验证先定义必须保留项 理解等级:中级 普通读书笔记卡
- 去重和连贯性不是同一指标 理解等级:中级 普通读书笔记卡
- 结构与排序需采用对应验证 理解等级:中级 普通读书笔记卡
- 验证比生成容易并非普遍定理 理解等级:高级 普通读书笔记卡
- 验证器增加质量也增加延迟 理解等级:中级 普通读书笔记卡
- 编排器负责真实流程状态 理解等级:中级 普通读书笔记卡
- 界面操作依赖观察动作闭环 理解等级:中级 普通读书笔记卡
- 智能体系统的执行边界 理解等级:中级 结构图卡
11 表示学习与嵌入
42 张卡片
- 嵌入表示由任务目标塑造 理解等级:中级 普通读书笔记卡
- 池化方式必须匹配模型训练 理解等级:高级 普通读书笔记卡
- 均值池化需要屏蔽填充位置 理解等级:中级 普通读书笔记卡
- 序列上限与向量维度分开考虑 理解等级:中级 普通读书笔记卡
- 固定向量不能无损保存任意文本 理解等级:中级 普通读书笔记卡
- 检索器与阅读器分工验收 理解等级:中级 普通读书笔记卡
- 对称与非对称检索分布不同 理解等级:中级 普通读书笔记卡
- 相似度度量应与训练一致 理解等级:中级 普通读书笔记卡
- 单位化后点积等于余弦 理解等级:高级 普通读书笔记卡
- 语义相近不保证否定关系一致 理解等级:中级 普通读书笔记卡
- 领域适配应定义想改变的距离 理解等级:中级 普通读书笔记卡
- 三元组标签表达任务相关性 理解等级:中级 普通读书笔记卡
- 困难负例要排除未标记正例 理解等级:高级 普通读书笔记卡
- 负例阈值方向取决于分数定义 理解等级:高级 普通读书笔记卡
- 三元组损失只强制相对间隔 理解等级:高级 普通读书笔记卡
- 批内负例依赖样本互不相关 理解等级:高级 普通读书笔记卡
- 缓存对比损失换取有效大批次 理解等级:高级 普通读书笔记卡
- 指令嵌入按任务条件编码 理解等级:中级 普通读书笔记卡
- 描述式检索查找满足描述的文本 理解等级:中级 普通读书笔记卡
- 公开榜单不能代替目标域评估 理解等级:中级 普通读书笔记卡
- 向量存储先算基础字节量 理解等级:中级 普通读书笔记卡
- 套娃训练让前缀维度可用 理解等级:高级 普通读书笔记卡
- 维度裁剪必须受真实输出约束 理解等级:中级 普通读书笔记卡
- 层数与维度是不同压缩轴 理解等级:高级 普通读书笔记卡
- 二值嵌入以低精度换空间 理解等级:中级 普通读书笔记卡
- 整数嵌入依赖逐维校准范围 理解等级:中级 普通读书笔记卡
- 乘积量化保存子空间码本索引 理解等级:高级 普通读书笔记卡
- 压缩取舍需要端到端检索评估 理解等级:中级 普通读书笔记卡
- 解析质量决定可检索证据 理解等级:中级 普通读书笔记卡
- 句子切分需要领域例外 理解等级:中级 普通读书笔记卡
- 匹配粒度与返回粒度可分开 理解等级:中级 普通读书笔记卡
- 滑动窗口以重复换邻近上下文 理解等级:中级 普通读书笔记卡
- 元数据边界保留章节作用域 理解等级:中级 普通读书笔记卡
- 版面理解补充文本结构线索 理解等级:中级 普通读书笔记卡
- 语义分块保留非连续来源 理解等级:中级 普通读书笔记卡
- 全局单位必须传递到局部证据 理解等级:中级 普通读书笔记卡
- 后分块先全局编码再局部池化 理解等级:高级 普通读书笔记卡
- 向量库管理索引与元数据 理解等级:中级 普通读书笔记卡
- 多层表示支持不同检索入口 理解等级:中级 普通读书笔记卡
- 降维图只帮助观察局部模式 理解等级:中级 普通读书笔记卡
- 稀疏特征解释依赖所学字典 理解等级:高级 普通读书笔记卡
- 表示管线需保留来源映射 理解等级:中级 结构图卡
12 检索增强生成
50 张卡片
- 检索增强针对知识可达性 理解等级:中级 普通读书笔记卡
- 长尾事实记忆缺少确定阈值 理解等级:中级 普通读书笔记卡
- 检索对象不局限外部知识 理解等级:中级 普通读书笔记卡
- 动态检索按时效和风险决策 理解等级:中级 普通读书笔记卡
- 可选阶段要有独立增益证据 理解等级:中级 普通读书笔记卡
- 查询改写要保留原始约束 理解等级:中级 普通读书笔记卡
- 伪相关反馈依赖首轮质量 理解等级:中级 普通读书笔记卡
- 假想文档是检索代理不是证据 理解等级:中级 普通读书笔记卡
- 多次扩展一致仍可能共同偏题 理解等级:中级 普通读书笔记卡
- 查询与文档改写分摊成本不同 理解等级:中级 普通读书笔记卡
- 复杂检索可拆成带依赖子问 理解等级:中级 普通读书笔记卡
- 首轮召回应覆盖所有必要证据 理解等级:中级 普通读书笔记卡
- 词法检索仍是有效基线 理解等级:中级 普通读书笔记卡
- 混合检索需定义融合方式 理解等级:高级 普通读书笔记卡
- 元数据过滤错误会直接漏召回 理解等级:中级 普通读书笔记卡
- 生成检索先建立文档标识映射 理解等级:高级 普通读书笔记卡
- 合法标识约束不能保证相关 理解等级:高级 普通读书笔记卡
- 紧耦合检索优化下游收益 理解等级:高级 普通读书笔记卡
- 图检索用关系支持全局主题 理解等级:高级 普通读书笔记卡
- 重排无法挽回首轮漏掉的文档 理解等级:中级 普通读书笔记卡
- 交叉编码联合比较查询与文档 理解等级:高级 普通读书笔记卡
- 重排分数要核对激活函数 理解等级:高级 普通读书笔记卡
- 后交互预计算文档令牌表示 理解等级:高级 普通读书笔记卡
- 查询似然按候选文档条件计算 理解等级:高级 普通读书笔记卡
- 似然排序取决于接口可见性 理解等级:中级 普通读书笔记卡
- 点对列表排序有不同误差 理解等级:高级 普通读书笔记卡
- 排序蒸馏继承教师和候选偏差 理解等级:中级 普通读书笔记卡
- 证据压缩要保持回答必要条件 理解等级:中级 普通读书笔记卡
- 抽取摘要也可能丢失语境 理解等级:中级 普通读书笔记卡
- 紧耦合摘要用答案收益筛选 理解等级:高级 普通读书笔记卡
- 金标似然不能在线凭空获得 理解等级:高级 普通读书笔记卡
- 链式笔记区分答案与背景 理解等级:中级 普通读书笔记卡
- 间接先后描述不必然证明继任 理解等级:中级 普通读书笔记卡
- 笔记与答案损失需分开权重 理解等级:高级 普通读书笔记卡
- 证据插入顺序要结合有效窗口 理解等级:中级 普通读书笔记卡
- 分文档生成再融合有额外风险 理解等级:中级 普通读书笔记卡
- 主动检索以生成状态决定取证 理解等级:高级 普通读书笔记卡
- 低概率触发检索只是代理信号 理解等级:高级 普通读书笔记卡
- 显式检索标记需要运行时处理 理解等级:中级 普通读书笔记卡
- 引用正确需匹配具体主张 理解等级:中级 普通读书笔记卡
- 外部记忆扩大可取回范围 理解等级:中级 普通读书笔记卡
- 摘要记忆与原始记录互补 理解等级:中级 普通读书笔记卡
- 动态示例以任务收益衡量 理解等级:高级 普通读书笔记卡
- 检索也可参与预训练目标 理解等级:高级 普通读书笔记卡
- 平凡检索排除同源答案泄漏 理解等级:高级 普通读书笔记卡
- 知识冲突必须回到来源判断 理解等级:中级 普通读书笔记卡
- 长窗口评估要加入相关干扰 理解等级:中级 普通读书笔记卡
- 长上下文和检索是组合选项 理解等级:中级 普通读书笔记卡
- 微调与检索改变不同层面 理解等级:中级 普通读书笔记卡
- 知识增强管线保留证据链 理解等级:中级 结构图卡
13 设计模式与系统架构
12 张卡片
- 系统架构把模型置于质量约束中 理解等级:中级 普通读书笔记卡
- 多模型分工有两种基本方式 理解等级:中级 普通读书笔记卡
- 级联先尝试便宜模型再升级 理解等级:中级 普通读书笔记卡
- 级联门槛必须校准错误放行率 理解等级:高级 普通读书笔记卡
- 首词概率间隔不代表整答可靠 理解等级:高级 普通读书笔记卡
- 预路由节省重复推理也有误分 理解等级:中级 普通读书笔记卡
- 专用模型接口需保留任务约束 理解等级:中级 普通读书笔记卡
- 编程框架分离流程与可调变量 理解等级:中级 普通读书笔记卡
- 模块签名定义输入输出契约 理解等级:中级 普通读书笔记卡
- 优化器效果由指标和数据约束 理解等级:高级 普通读书笔记卡
- 声明式生成约束不保证语义正确 理解等级:中级 普通读书笔记卡
- 架构选择对齐决策发生时机 理解等级:中级 结构图卡
全书概览
Designing Large Language Model Applications
Skill 版本:v24
执行模式:light
建档进度:done(全文阅读、知识卡、实践筛选、整书讲解、导入对账与归档验收均已完成)
四象限评级:经典原理(高信息浓度、高稳定性),按当前规则P4。
内容形态:概念解析型,结合工程练习。
评级理由:全书以数据、分布、表示、适配、检索和系统取舍的机制解释为主体,概念比较与条件说明密集,核心关系可迁移;大量库、型号和接口为历史实例,已与耐久机制区分,不把版本代码当通用正确性保证。
整书笔记
章节进度追踪表
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 前言与阅读路线 | done | 3 |
| 01 | 大语言模型入门 | done | 32 |
| 02 | 预训练数据 | done | 42 |
| 03 | 词表与分词 | done | 25 |
| 04 | 架构与学习目标 | done | 36 |
| 05 | 按任务适配模型 | done | 36 |
| 06 | 微调 | done | 34 |
| 07 | 进阶微调技术 | done | 26 |
| 08 | 对齐训练与推理 | done | 37 |
| 09 | 推理优化 | done | 30 |
| 10 | 外部工具与智能体 | done | 41 |
| 11 | 表示学习与嵌入 | done | 42 |
| 12 | 检索增强生成 | done | 50 |
| 13 | 设计模式与系统架构 | done | 12 |
来源与非正文排除
- 身份:标题页/封面Suhas Pai,版权2025年3月第一版,首次release2025-03-06;OPF出版日期2025-03-12;本文件ISBN9781098159047,前言引用纸本ISBN9781098150501,保留区别。
- OPF标题带个人分发后缀,不作为书名;规范书名经封面和标题页确认。
- cover、赞誉、标题、版权、献辞、作者与colophon全文已读;封面已查看,无独立机制。作者职位保留原书时点,不当作当前事实;鲸鱼介绍不属于技术主线。
- 三个分部引言并入导读,目录已读;index全文57510字符已读,仅术语与回跳导航无新增机制。
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 嵌入检索实现深读 | 实现深读 | done | 11 | 计划;首轮源码映射已准备;实际实践未执行 |
| 2 | 读书检索证据评估表 | 真实任务 | done | 10⁄12 | 计划;后续评价样本待实际整理;实际实践未执行 |
实践候选筛选:done。采用2项;未采用完整预训练、大规模模型下载/训练、付费多模型比较及现实自动操作,有限源码与证据任务足以覆盖当前学习目标。
第1章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Kaplan缩放研究、Hoffmann计算最优研究、Wei涌现研究、Schaeffer评估研究 | 论文 | 主张作为版本化背景,机制并入第1章,不声称外部全文已读 |
| ELIZA及Wade Brainerd实现、Chess-GPT、Geneformer | 项目 | 规则/序列建模例子,未复现 |
| Speech and Language Processing、Foundations of Statistical NLP、Bender语言学书、Goodfellow Deep Learning、Dive into Deep Learning、Goldberg Neural Network Methods | 书 | 作者延伸阅读,不据书名凑独立知识卡 |
| Learn Prompting、APO、AutoPrompt、Sprague CoT研究、Gandalf、Li情绪提示研究 | 教程/研究 | 提示边界参考,未执行对抗提示或外部游戏 |
| I Am a Strange Loop、I am a strange dataset、Shaib语法模板、diversity | 书/数据/研究 | 能力与检测评估线索,不复述历史无模型能答成当前事实 |
| LangChain、Gradio、Unstructured、Sentence Transformers、Chroma、OpenAI | 框架/服务 | 原型职责及旧接口示例,未安装或调用 |
第2章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Common Crawl/C4、The Pile、WebText/OpenWebText、Wikipedia、BooksCorpus、FineWeb/Edu、ROOTS、RedPajama/SlimPajama、RefinedWeb、CCNet、BERTIN | 语料/管线 | 来源与清洗策略背景;版本大小与可用性非当前核验 |
| phi、Cosmopedia、SmolLM | 模型/合成语料 | 种子与受控提示机制,未下载 |
| jusText、Dragnet、html2text、inscriptis、Newspaper、Trafilatura、langdetect/langid、fastText、pycld2、KenLM、DataTrove | 工具 | 抽取、识别、质量与规模处理,各按正文职责登记 |
| MinHash/LSH、SimHash、Suffix Array | 算法提名 | 近似/片段去重参考,本章不补造未给算法细节 |
| Carlini、Lee、Tramer、Muennighoff、Xue、Goyal、Razeghi、McCoy、Rogers、Dodge等研究 | 论文 | 本章机制及观察的追溯线索,未声称全部外部全文已读 |
| Faker、python-stdnum、DP-SGD、DoReMi、RegMix | 工具/方法 | 隐私替换、格式校验、形式保证及混合参考,未执行 |
第3章引用与提名登记
| 名称 | 类型 | 语境 |
|---|---|---|
| GPT-NeoX、BERT、FLAN-T5、tiktoken、Llama/Gemma | 模型/工具 | 词表及编码历史示例,不声明当前固定ID/支持集合 |
| CANINE、ByT5、Charformer | 研究模型 | 码点/字节及内部压缩路线,未运行 |
| BPE、WordPiece、Unigram LM、GALACTICA | 算法/模型 | 已展开BPE/WordPiece机制成卡,Unigram仅提名不补写 |
| Tao词表缩放、Goldman/Schmidt压缩比较、Petrov语言parity | 研究 | 词表预算与评估争议,未将压缩质量关系当定理 |
| HF WordPiece课程与Tokenizers pipeline | 官方资料 | 核对前缀贪心与训练公式来源边界 |
第4章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Attention Is All You Need、BERT | 原始论文 | 核对原始Post-LN与80/10/10替换 |
| ALiBi、RoPE、NoPE、MoE、upcycling | 架构技术 | 按正文具体展开成卡,未扩大为无限外推或必然优势 |
| GPTNeo、T5、BART、UL2、Switch、Mixtral、DeepSeekV3 | 模型 | 骨架与目标的版本示例,GPT4MoE未确认不作事实 |
| NLTK、Emma、Firth分布假说、Goldberg神经NLP | 工具/书/观点 | 语境表征与延伸阅读,不声称全部外部全文已读 |
| Lichess、PGN、Chess-GPT及书附项目 | 数据/记号/项目 | 领域表示实验候选,未下载棋局或训练 |
第5章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| FLAN、RLHF、RLAIF、ConstitutionalAI | 数据/训练范式 | 本章说明变体来源,第6/8章待展开 |
| LM Evaluation Harness、Open LLM Leaderboard、HELM、Arena | 评测工具/榜单 | 协议与样本边界;不更新或推荐当前排名 |
| MMLU、ARC、HellaSwag、TruthfulQA、WinoGrande、GSM8K | 基准 | 任务覆盖参考,不把总分等同应用收益 |
| Accelerate、Ollama、LMStudio、GPT4All、TGI、GGUF | 部署工具/格式 | 本章版本语境,未安装运行或确认当下支持 |
| Jsonformer、LMQL、Guidance、LIT-NLP | 输出/调试框架 | 形式控制与诊断职责,未称通用全部兼容 |
| Towards Monosemanticity | 原始研究 | SAE特征解释的有限范围,来源见research证据 |
| 商业厂商、公开模型与许可证表 | 历史分类 | 只登记本版选择背景,不作为当前商业/法律判断 |
第6章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Transformers4.35、Accelerate0.24、PEFT0.6、bitsandbytes0.41、TRL0.7.4 | 框架 | 原锁定版本;只核对指定配置源码,未安装训练 |
| AdamW、Adafactor、SGD、Lion、低位及分页优化器 | 优化器 | 状态/资源职责,未按历史经验推荐当前通用默认 |
| LoRA、NEFTune、标签平滑、packing | 方法 | 本章机制和限制,LoRA第7章继续展开 |
| FLAN/P3、Super-NaturalInstructions、Self-Instruct、UnnaturalInstructions、Evol-Instruct、LIMA、Bonito | 数据/研究/工具 | 指令构造路线和覆盖边界,未生成或下载数据 |
| LearningRateFinder、Jin学习率论文、Bulatov检查点说明 | 工具/参考 | 原文延伸阅读,不声称外部全文已读或运行 |
第7章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| DAPT/TAPT、DEMix、Replay、参数扩展 | 方法 | 新旧分布和共享路径限制,未训练 |
| adapters、AdapterDrop、prefix/prompt tuning、BitFit、可学习掩码 | 方法/工具 | 新参数与子集路线,各按展开范围取材 |
| LLM-Blender、PairRanker、GenFuser、ColD Fusion、AdapterSoup、AdaMix | 框架/研究 | 输出与权重融合分工,不推导未给出算法细节 |
| Aharoni、Jin、Winata、Gupta、Gururangan、Lester、Zaken、Zhao、Jiang、Zaman等研究 | 论文 | 原文追溯线索,未声称全部外部全文已读 |
第8章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Askell/HHH、RLHF、PPO、Anthropic hh-rlhf、TRL | 原则/方法/数据/框架 | 示范、偏好及策略优化分工;未训练 |
| SelfAware、CoVe、Recitation、Factual Nucleus Sampling、DoLa | 研究 | 自知、交叉检查与解码路线;DoLa原作者摘要与实现入口查阅 |
| Lookback Lens | 论文 | 原文2.1公式及标签核验:https://arxiv.org/html/2407.07071v1 |
| Knowledge Overshadowing、S2A、Dziri子图匹配、推理时计算、reasoning-0.01 | 研究/数据 | 条件覆盖、干扰处理、推理假说与算术核验;未运行模型 |
第9章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| KV cache、context caching、FastBERT、HashEE、CALM、MoE | 方法/研究 | 缓存与动态计算,各项成本/质量约束;未部署 |
| DistilBERT、Xu蒸馏综述、Liang层级蒸馏、RLAIF、Burns弱到强泛化 | 研究 | 蒸馏信号与可见性、学生能力边界 |
| DistillSpec、自推测解码、REST、Medusa | 研究/方法 | 草稿、检索和多头候选不同实现;不补造原书未展开的算法 |
| Demystifying Floating Point Precision、A Visual Guide to Quantization、Zhou推理优化综述 | 教程/综述 | 延伸入口,未声称外部全文已读 |
第10章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| LangChain、LlamaIndex、DuckDuckGo、Wikipedia、arXiv、PythonREPL、SQLDatabase、Llama3.1/llama-stack | 框架/工具 | 调用、执行和schema分工,历史接口示意;未运行 |
| ToolLLaMA、ReAct、Reflexion/Reflection-Llama、LangSmith、Langtrace、OpenLLMetry | 研究/观测 | 选择、循环、反思与轨迹;未声称完整外读 |
| Guardrails、NeMo Guardrails、Llama Guard、Presidio、Rebuff、Bleach | 框架/检测 | 按具体风险取材,不作100%安全承诺 |
| BLEU、ROUGE、BERTScore、spaCy、Thareja先决知识检测、SAT/逻辑规划 | 指标/研究/工具 | 多维验证及来源忠实性,符号实现原书未展开不补造 |
| CrewAI、AutoGen、MetaGPT、XAgent、Computer Use Demo | 框架/演示 | 编排与GUI闭环入口,未执行现实操作 |
第11章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| Sentence Transformers/TAS-B、MPNet、BGE-M3、Jina、SGPT、OpenAI/Cohere/Nomic | 模型/服务 | 池化、任务与版本约定;只取TAS-B/Nomic配置未下载权重 |
| Moreira负例、TripletLoss、MultipleNegativesRankingLoss、Instructor、Ravfogel描述检索 | 研究/训练 | 标注、损失和指令分工,未训练 |
| MTEB、MRL、Espresso、Matryoshka2dLoss、PQ、Qdrant | 基准/压缩 | 应用评估与存储取舍;研究数字限定实验 |
| Punkt、spaCy、Stanza、ClarityNLP、Unstructured、Textractor、LayoutLMv3、ColPali、Jina late chunking | 解析/分块 | 边界与作用域、先编码后池化,不补造未展开算法 |
| Chroma、Weaviate、Milvus、Pinecone、LanceDB、ElasticSearch、Redis、Postgres、Nomic Atlas、Prism/Linus Lee | 数据库/可视化/解释 | 功能及观察用途,不按书中列表作当前推荐 |
第12章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| MEMIT、Kandpal/BLOOM长尾、Jagielski遗忘、Mallen动态检索 | 研究 | 记忆与检索条件,研究数值非普适阈值 |
| PRF、Query2doc、HyDE、query2document2keyword、doc2query、contextual retrieval | 改写 | 检索代理及漂移边界,不作事实证据 |
| BM25、Lucene/ElasticSearch、TF-IDF、DFI/DFR/IB/Dirichlet/Jelinek Mercer | IR方法 | 基线及混合路线,原书未展开的公式不补造 |
| 生成检索/Pradeep/Tay/Wang/Askari、LLM-Embedder、GraphRAG | 研究 | 标识映射、下游反馈与图关系质量 |
| CrossEncoder、ColBERT、QLM、RankGPT/RankVicuna/RankZephyr、Xu摘要、Yu CoN、FLARE、Command-R | 研究/工具 | 排序、压缩与主动取证,均未运行 |
| Letta/MemGPT、Mem0、LLM-R、REALM、RECALL、needle tests、Ovadia对比 | 研究/框架 | 历史、示例、训练和方案比较,不冒称全面外读 |
第13章引用与提名登记
| 名称 | 类型 | 去向 |
|---|---|---|
| LLM-Blender、Ramirez margin sampling、级联/路由/专用模型 | 研究/架构 | 多模型职责与置信代理,不声称最佳模型当前推荐 |
| DSPy、ChainOfThought、Signature、Optimizers、LMQL | 框架 | 声明接口、迭代指标与输出约束,未安装执行 |
生成交付
446张知识卡、2实践计划,完整整书笔记及逐单元覆盖已完成;25项spine全部读取。轻量模式未执行生成后的笔记复核、独立审查或审查结果优化。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。