来源书籍

Designing Large Language Model Applications

Skill 版本:v24 经典原理(高信息浓度、高稳定性),按当前规则P4。 446 张卡片

Suhas Pai · O’Reilly Media, Inc. · 2025-03-12 · First Edition · ISBN 9781098159047

章节与卡片

00 前言与阅读路线

3 张卡片
  1. 原型可运行不代表生产可靠 理解等级:中级 普通读书笔记卡
  2. 应用设计要理解模型原料 理解等级:中级 普通读书笔记卡
  3. 阅读结论要保留版本与模态范围 理解等级:中级 普通读书笔记卡

01 大语言模型入门

32 张卡片
  1. 下一词元训练学习概率分布 理解等级:中级 普通读书笔记卡
  2. 离散序列建模不限自然语言 理解等级:中级 普通读书笔记卡
  3. 缩放规律依资源约束解释 理解等级:高级 普通读书笔记卡
  4. 参数规模不单独决定适用性 理解等级:中级 普通读书笔记卡
  5. 涌现结论依赖评估粒度 理解等级:高级 普通读书笔记卡
  6. 预训练与任务适配职责不同 理解等级:中级 普通读书笔记卡
  7. 端到端整合仍需系统判断 理解等级:中级 普通读书笔记卡
  8. 采用讨论不等于收益证据 理解等级:中级 普通读书笔记卡
  9. 企业任务先按输入输出拆分 理解等级:中级 普通读书笔记卡
  10. 提示是带目标约束的上下文 理解等级:中级 普通读书笔记卡
  11. 乱序可读不代表顺序不重要 理解等级:中级 普通读书笔记卡
  12. 零样本提示明确输出空间 理解等级:中级 普通读书笔记卡
  13. 少样本示范不更新模型权重 理解等级:中级 普通读书笔记卡
  14. 提示漂移需要联合版本记录 理解等级:中级 普通读书笔记卡
  15. 分步解题须比较收益与成本 理解等级:中级 普通读书笔记卡
  16. 提示链拆分职责也增加接口 理解等级:中级 普通读书笔记卡
  17. 情绪提示不是稳定性能保证 理解等级:中级 普通读书笔记卡
  18. 角色指令与输入数据应分层 理解等级:高级 普通读书笔记卡
  19. 多候选还需要可靠选择标准 理解等级:中级 普通读书笔记卡
  20. 终止协议可能截断有效内容 理解等级:中级 普通读书笔记卡
  21. 采样温度调节分布不是事实性 理解等级:中级 普通读书笔记卡
  22. 词元概率不等于事实置信度 理解等级:高级 普通读书笔记卡
  23. 流畅回答仍可能缺少事实依据 理解等级:中级 普通读书笔记卡
  24. 单词频率不能裁定机器写作 理解等级:中级 普通读书笔记卡
  25. 语法模板只是检测候选特征 理解等级:中级 普通读书笔记卡
  26. 检索相似不保证包含答案 理解等级:中级 普通读书笔记卡
  27. 问答改写与回答生成职责不同 理解等级:中级 普通读书笔记卡
  28. 解析分块会决定下游可见证据 理解等级:中级 普通读书笔记卡
  29. 长上下文取舍不只看能否装入 理解等级:中级 普通读书笔记卡
  30. 原型失败应定位具体环节 理解等级:中级 普通读书笔记卡
  31. 应用方案以质量和资源共同验收 理解等级:中级 普通读书笔记卡
  32. 文档问答区分建库与查询链 理解等级:中级 结构图卡

02 预训练数据

42 张卡片
  1. 模型原料分为四类决策 理解等级:中级 普通读书笔记卡
  2. 基础与适配模型来自不同阶段 理解等级:中级 普通读书笔记卡
  3. 训练透明度影响故障解释范围 理解等级:中级 普通读书笔记卡
  4. 自监督从输入构造训练目标 理解等级:中级 普通读书笔记卡
  5. 文本可能省略任务所需背景 理解等级:中级 普通读书笔记卡
  6. 过程反馈与最终结果反馈有别 理解等级:中级 普通读书笔记卡
  7. 多轮重复不是新增独立信息 理解等级:中级 普通读书笔记卡
  8. 数据来源多样性需对应任务 理解等级:中级 普通读书笔记卡
  9. 公开可访问与可使用要分开 理解等级:中级 普通读书笔记卡
  10. 合成数据由种子与提示塑形 理解等级:中级 普通读书笔记卡
  11. 合成多样性可沿受控维度设计 理解等级:中级 普通读书笔记卡
  12. 预处理顺序依赖实际输入 理解等级:中级 普通读书笔记卡
  13. 网页文本抽取会引入系统偏差 理解等级:中级 普通读书笔记卡
  14. 结构化网页信息不应全当噪声 理解等级:中级 普通读书笔记卡
  15. 启发式清洗是近似筛选 理解等级:中级 普通读书笔记卡
  16. 语言概率不保证文本纯单语 理解等级:中级 普通读书笔记卡
  17. 质量标准会偏向参考分布 理解等级:高级 普通读书笔记卡
  18. 来源分类器不是质量真值器 理解等级:中级 普通读书笔记卡
  19. 困惑度衡量相对模型可预测性 理解等级:高级 普通读书笔记卡
  20. 困惑度筛选要防两端失真 理解等级:中级 普通读书笔记卡
  21. 去重需明确相似类型与粒度 理解等级:中级 普通读书笔记卡
  22. 去重与提高采样权重不矛盾 理解等级:中级 普通读书笔记卡
  23. 去重可降低记忆但不是清除保证 理解等级:中级 普通读书笔记卡
  24. 成员推断与训练提取目标不同 理解等级:中级 普通读书笔记卡
  25. 公开数据仍受原始语境约束 理解等级:中级 普通读书笔记卡
  26. 组合信息可能提高识别性 理解等级:中级 普通读书笔记卡
  27. 隐私标签体系需要任务约定 理解等级:中级 普通读书笔记卡
  28. 格式检测不同于真实身份验证 理解等级:中级 普通读书笔记卡
  29. 隐私规则须覆盖实际格式变化 理解等级:中级 普通读书笔记卡
  30. 隐私检测与处置分开验收 理解等级:中级 普通读书笔记卡
  31. 占位替换与同类替换各有代价 理解等级:中级 普通读书笔记卡
  32. 随机替换会改变群体分布 理解等级:中级 普通读书笔记卡
  33. 删除高风险来源牺牲部分覆盖 理解等级:中级 普通读书笔记卡
  34. 隐私措施需区分风险降低与保证 理解等级:高级 普通读书笔记卡
  35. 去污染针对评测信息泄漏 理解等级:中级 普通读书笔记卡
  36. 字符匹配不能覆盖语义污染 理解等级:中级 普通读书笔记卡
  37. 混合权重决定有效训练暴露 理解等级:中级 普通读书笔记卡
  38. 课程学习改变暴露顺序 理解等级:中级 普通读书笔记卡
  39. 训练频率可能影响任务行为 理解等级:中级 普通读书笔记卡
  40. 语料筛选不可能完全价值中立 理解等级:中级 普通读书笔记卡
  41. 关键词屏蔽忽略社会语境 理解等级:中级 普通读书笔记卡
  42. 数据治理各步骤要保留目的 理解等级:中级 结构图卡

03 词表与分词

25 张卡片
  1. 词表类型与文本实例可区分 理解等级:初级 普通读书笔记卡
  2. 词元编号只在特定词表有意义 理解等级:中级 普通读书笔记卡
  3. 词元边界不等于概念边界 理解等级:中级 普通读书笔记卡
  4. 大小写归一是信息取舍 理解等级:中级 普通读书笔记卡
  5. 未知词占位会合并不同信息 理解等级:中级 普通读书笔记卡
  6. 字符编码用更长序列换覆盖 理解等级:中级 普通读书笔记卡
  7. 词表大小平衡压缩与学习信号 理解等级:高级 普通读书笔记卡
  8. 训练分词器与调用分词器分开 理解等级:中级 普通读书笔记卡
  9. 拼写变体会改变序列形状 理解等级:中级 普通读书笔记卡
  10. 免子词模型仍有输入单位 理解等级:中级 普通读书笔记卡
  11. 归一化可能不可逆丢信息 理解等级:中级 普通读书笔记卡
  12. 预切分限制后续合并范围 理解等级:中级 普通读书笔记卡
  13. 偏移位置用于对齐原文 理解等级:中级 普通读书笔记卡
  14. 字节对训练按频次逐轮合并 理解等级:中级 普通读书笔记卡
  15. 字节对编码遵循学习合并顺序 理解等级:中级 普通读书笔记卡
  16. 完整字节基底解决表示覆盖 理解等级:中级 普通读书笔记卡
  17. 词片推断从当前位置贪心匹配 理解等级:高级 普通读书笔记卡
  18. 词片合并评分不是只看低频 理解等级:高级 普通读书笔记卡
  19. 后处理添加模型协议符号 理解等级:中级 普通读书笔记卡
  20. 工具标记需要系统执行语义 理解等级:中级 普通读书笔记卡
  21. 稀有词元可能缺乏训练 理解等级:中级 普通读书笔记卡
  22. 生育率依赖词数定义 理解等级:中级 普通读书笔记卡
  23. 跨语言比较须用对齐内容 理解等级:中级 普通读书笔记卡
  24. 扩词表还需扩嵌入并学习 理解等级:高级 普通读书笔记卡
  25. 分词是带模型约定的流水线 理解等级:中级 结构图卡

04 架构与学习目标

36 张卡片
  1. 反向传播与参数更新职责不同 理解等级:中级 普通读书笔记卡
  2. 分布假说提供语境表征线索 理解等级:中级 普通读书笔记卡
  3. 输入嵌入按词元编号查表 理解等级:中级 普通读书笔记卡
  4. 注意力通过键匹配聚合值 理解等级:中级 普通读书笔记卡
  5. 缩放点积抑制分数尺度增长 理解等级:高级 普通读书笔记卡
  6. 多头提供并行投影子空间 理解等级:中级 普通读书笔记卡
  7. 注意力图不能消除指代歧义 理解等级:中级 普通读书笔记卡
  8. 位置表示补充序列顺序线索 理解等级:中级 普通读书笔记卡
  9. 线性偏置与旋转位置不同 理解等级:高级 普通读书笔记卡
  10. 逐位置前馈不混合相邻词元 理解等级:中级 普通读书笔记卡
  11. 层归一沿每个位置特征计算 理解等级:高级 普通读书笔记卡
  12. 归一化位置必须看残差公式 理解等级:高级 普通读书笔记卡
  13. 独热交叉熵只取目标项 理解等级:中级 普通读书笔记卡
  14. 困惑度的指数底数须匹配 理解等级:高级 普通读书笔记卡
  15. 均匀猜测不是困惑度最坏值 理解等级:中级 普通读书笔记卡
  16. 内部指标不替代任务验收 理解等级:中级 普通读书笔记卡
  17. 编码器与解码器按可见性分工 理解等级:中级 普通读书笔记卡
  18. 模型家族选择仍需任务实测 理解等级:中级 普通读书笔记卡
  19. 注意力块按计算职责连接 理解等级:中级 结构图卡
  20. 稀疏专家分开总容量与活跃量 理解等级:高级 普通读书笔记卡
  21. 词元选专家需要处理负载失衡 理解等级:中级 普通读书笔记卡
  22. 专家选词元改变分配约束 理解等级:高级 普通读书笔记卡
  23. 专家门控不等于人类专业标签 理解等级:中级 普通读书笔记卡
  24. 稠密模型转专家还要继续训练 理解等级:中级 普通读书笔记卡
  25. 全语言目标只看前缀预测后继 理解等级:中级 普通读书笔记卡
  26. 前缀语言目标分开可见性与计分 理解等级:高级 普通读书笔记卡
  27. 掩码目标只在选定位置计分 理解等级:高级 普通读书笔记卡
  28. 跨度恢复用哨兵标识缺失块 理解等级:中级 普通读书笔记卡
  29. 去噪任务通过破坏构造监督 理解等级:中级 普通读书笔记卡
  30. 混合去噪覆盖不同预测形态 理解等级:中级 普通读书笔记卡
  31. 目标密度不是训练效率全貌 理解等级:高级 普通读书笔记卡
  32. 下一词分数不能直接当解题判断 理解等级:中级 普通读书笔记卡
  33. 领域记号改变学习表示成本 理解等级:中级 普通读书笔记卡
  34. 等量案例不等于等量训练预算 理解等级:高级 普通读书笔记卡
  35. 领域生成先验收规则合法性 理解等级:中级 普通读书笔记卡
  36. 训练原料要随实验一起固定 理解等级:中级 普通读书笔记卡

05 按任务适配模型

36 张卡片
  1. 模型选择先列硬约束与取舍 理解等级:中级 普通读书笔记卡
  2. 全生命周期成本不只含词元费 理解等级:中级 普通读书笔记卡
  3. 开放程度需要逐项说明 理解等级:中级 普通读书笔记卡
  4. 使用许可必须绑定具体制品 理解等级:中级 普通读书笔记卡
  5. 指令适配改变行为也可能回退 理解等级:中级 普通读书笔记卡
  6. 偏好对齐反映特定评价标准 理解等级:中级 普通读书笔记卡
  7. 上下文容量不等于有效利用 理解等级:中级 普通读书笔记卡
  8. 领域适配与任务适配分开 理解等级:中级 普通读书笔记卡
  9. 社区支持是维护成本的线索 理解等级:中级 普通读书笔记卡
  10. 公开基准先看能力覆盖 理解等级:中级 普通读书笔记卡
  11. 榜单小幅领先不必触发换模 理解等级:中级 普通读书笔记卡
  12. 选择题评分协议影响排名 理解等级:高级 普通读书笔记卡
  13. 污染探针只提供调查线索 理解等级:高级 普通读书笔记卡
  14. 偏好排序受样本和展示影响 理解等级:中级 普通读书笔记卡
  15. 安全评估须写清标准与场景 理解等级:中级 普通读书笔记卡
  16. 自动裁判也需可见量规与校准 理解等级:中级 普通读书笔记卡
  17. 提示和解码属于评估条件 理解等级:中级 普通读书笔记卡
  18. 权重内存只是推理占用下限 理解等级:高级 普通读书笔记卡
  19. 数值格式改变范围和精度 理解等级:中级 普通读书笔记卡
  20. 卸载以数据搬运换可容纳性 理解等级:中级 普通读书笔记卡
  21. 本地运行工具不消除模型配置 理解等级:中级 普通读书笔记卡
  22. 托管与自建按端到端成本比较 理解等级:中级 普通读书笔记卡
  23. 贪心只优化当前词元选择 理解等级:中级 普通读书笔记卡
  24. 束搜索维护多条候选前缀 理解等级:高级 普通读书笔记卡
  25. 固定候选数与累计质量不同 理解等级:中级 普通读书笔记卡
  26. 采样参数要与生成模式配合 理解等级:中级 普通读书笔记卡
  27. 低温与固定种子不保证全环境确定 理解等级:高级 普通读书笔记卡
  28. 多数投票聚合答案并非验证真值 理解等级:中级 普通读书笔记卡
  29. 结构格式与内容正确分开验收 理解等级:中级 普通读书笔记卡
  30. 约束解码限制的是可生成串 理解等级:高级 普通读书笔记卡
  31. 模板填充需识别支持范围 理解等级:中级 普通读书笔记卡
  32. 显著性图与注意力图含义不同 理解等级:高级 普通读书笔记卡
  33. 扰动输入只能支持限定诊断 理解等级:中级 普通读书笔记卡
  34. 单神经元可能混合多个特征 理解等级:高级 普通读书笔记卡
  35. 稀疏字典特征是分析近似 理解等级:高级 普通读书笔记卡
  36. 调试结果回到任务样本验证 理解等级:中级 普通读书笔记卡

06 微调

34 张卡片
  1. 微调改变权重而非塞入更多提示 理解等级:中级 普通读书笔记卡
  2. 更新知识与学习行为分开选择 理解等级:中级 普通读书笔记卡
  3. 标签定义要排除相似但不同情形 理解等级:中级 普通读书笔记卡
  4. 优化器状态按可训练参数计量 理解等级:高级 普通读书笔记卡
  5. 优化器内存依算法与实现 理解等级:高级 普通读书笔记卡
  6. 低位优化器压缩状态而非全部训练 理解等级:中级 普通读书笔记卡
  7. 分页优化器用主存缓解显存压力 理解等级:中级 普通读书笔记卡
  8. 学习率须与目标和配置联合调节 理解等级:中级 普通读书笔记卡
  9. 预热与衰减控制不同训练阶段 理解等级:中级 普通读书笔记卡
  10. 检查点重算用计算换激活内存 理解等级:中级 普通读书笔记卡
  11. 梯度累积改变更新批量 理解等级:高级 普通读书笔记卡
  12. 混合精度不同于低位量化 理解等级:中级 普通读书笔记卡
  13. 校准要求频率匹配概率 理解等级:高级 普通读书笔记卡
  14. 标签平滑改变监督分布 理解等级:高级 普通读书笔记卡
  15. 嵌入噪声只在训练时扰动 理解等级:中级 普通读书笔记卡
  16. 批量大小取决于负载和目标 理解等级:中级 普通读书笔记卡
  17. 梯度裁剪限制范数不修复目标 理解等级:中级 普通读书笔记卡
  18. 按长度分组减少无效补齐 理解等级:中级 普通读书笔记卡
  19. 低秩适配的秩不是注意力维数 理解等级:高级 普通读书笔记卡
  20. 配置开关须按指定版本验证 理解等级:高级 普通读书笔记卡
  21. 序列打包需定义样本边界 理解等级:高级 普通读书笔记卡
  22. 训练数据字段必须实际对齐 理解等级:中级 普通读书笔记卡
  23. 保存适配器不同于保存完整模型 理解等级:中级 普通读书笔记卡
  24. 消融实验要控制随机波动 理解等级:中级 普通读书笔记卡
  25. 指令数据包含任务语义与答案 理解等级:中级 普通读书笔记卡
  26. 模板改写应保持任务等价 理解等级:中级 普通读书笔记卡
  27. 标签选项帮助限定输出形式 理解等级:中级 普通读书笔记卡
  28. 正反例共同说明标注边界 理解等级:中级 普通读书笔记卡
  29. 先生成输入可能造成标签失衡 理解等级:中级 普通读书笔记卡
  30. 种子质量限定合成数据方向 理解等级:中级 普通读书笔记卡
  31. 指令演化分开难度与广度 理解等级:中级 普通读书笔记卡
  32. 少量优质数据结论有任务范围 理解等级:中级 普通读书笔记卡
  33. 超参数优化不能替代数据修正 理解等级:中级 普通读书笔记卡
  34. 微调闭环从标签到独立验收 理解等级:中级 结构图卡

07 进阶微调技术

26 张卡片
  1. 更新参数先说明适配目的 理解等级:中级 普通读书笔记卡
  2. 领域与任务自适应范围不同 理解等级:中级 普通读书笔记卡
  3. 领域选择可用表示相似度辅助 理解等级:中级 普通读书笔记卡
  4. 继续训练面临学习与保留取舍 理解等级:中级 普通读书笔记卡
  5. 回放混合保留旧分布信号 理解等级:中级 普通读书笔记卡
  6. 继续训练学习率平衡新旧目标 理解等级:中级 普通读书笔记卡
  7. 蒸馏约束需明确比较对象 理解等级:高级 普通读书笔记卡
  8. 参数扩展需保护既有共享路径 理解等级:高级 普通读书笔记卡
  9. 域专家学习仍依赖路由 理解等级:高级 普通读书笔记卡
  10. 参数高效不等于前向计算很少 理解等级:高级 普通读书笔记卡
  11. 瓶颈适配器先降维再升维 理解等级:中级 普通读书笔记卡
  12. 适配器初始行为应接近基座 理解等级:中级 普通读书笔记卡
  13. 删减适配层须重新测质量 理解等级:中级 普通读书笔记卡
  14. 前缀适配训练层内虚拟上下文 理解等级:高级 普通读书笔记卡
  15. 软提示适配只训练输入向量 理解等级:中级 普通读书笔记卡
  16. 多任务混批能力取决于执行实现 理解等级:高级 普通读书笔记卡
  17. 子集微调保留参数也限制容量 理解等级:中级 普通读书笔记卡
  18. 微调能否获得新能力要可检验 理解等级:高级 普通读书笔记卡
  19. 输出集成与权重融合分层不同 理解等级:中级 普通读书笔记卡
  20. 候选排序需要可聚合比较规则 理解等级:高级 普通读书笔记卡
  21. 生成融合需保留证据和冲突 理解等级:中级 普通读书笔记卡
  22. 权重平均需要参数坐标兼容 理解等级:高级 普通读书笔记卡
  23. 融合不能保证遗忘敏感信息 理解等级:高级 普通读书笔记卡
  24. 协作融合须检验任务间干扰 理解等级:中级 普通读书笔记卡
  25. 适配器平均也有结构约束 理解等级:高级 普通读书笔记卡
  26. 适配方案按变化层次选择 理解等级:中级 结构图卡

08 对齐训练与推理

37 张卡片
  1. 对齐目标需要拆解为可评估行为 理解等级:中级 普通读书笔记卡
  2. 偏好反馈有不同信息粒度 理解等级:中级 普通读书笔记卡
  3. 对齐监督先学习示范响应 理解等级:中级 普通读书笔记卡
  4. 奖励模型拟合相对人类偏好 理解等级:高级 普通读书笔记卡
  5. 策略优化需要奖励与偏移约束 理解等级:高级 普通读书笔记卡
  6. 偏好样本必须共享比较上下文 理解等级:中级 普通读书笔记卡
  7. 幻觉评估先声明事实参照 理解等级:中级 普通读书笔记卡
  8. 知识与自知需分别评估 理解等级:中级 普通读书笔记卡
  9. 置信信号必须经过校准 理解等级:高级 普通读书笔记卡
  10. 检索增强不能保证无幻觉 理解等级:中级 普通读书笔记卡
  11. 多次生成一致不代表事实正确 理解等级:中级 普通读书笔记卡
  12. 验证问题应独立作答再修订 理解等级:中级 普通读书笔记卡
  13. 复述中间材料仍是模型生成 理解等级:中级 普通读书笔记卡
  14. 采样多样性与事实风险要实测 理解等级:中级 普通读书笔记卡
  15. 事实核采样逐步收紧候选集 理解等级:高级 普通读书笔记卡
  16. 层间对比分布突出晚层变化 理解等级:高级 普通读书笔记卡
  17. 预训练分块应保留实体语境 理解等级:中级 普通读书笔记卡
  18. 句子补全损失改变训练关注点 理解等级:高级 普通读书笔记卡
  19. 上下文忠实性不同于事实正确 理解等级:中级 普通读书笔记卡
  20. 证据缺字段应保留未知 理解等级:初级 普通读书笔记卡
  21. 回看特征需按原定义计算 理解等级:高级 普通读书笔记卡
  22. 幻觉分类指导解码先核标签 理解等级:高级 普通读书笔记卡
  23. 多重条件要逐项验证满足 理解等级:中级 普通读书笔记卡
  24. 清理无关上下文避免提示污染 理解等级:中级 普通读书笔记卡
  25. 演绎结论依赖前提成立 理解等级:中级 普通读书笔记卡
  26. 归纳结论保留样本外不确定性 理解等级:初级 普通读书笔记卡
  27. 溯因解释需比较竞争原因 理解等级:中级 普通读书笔记卡
  28. 常识推断也依赖隐含条件 理解等级:初级 普通读书笔记卡
  29. 推理机制假说不能取代泛化测量 理解等级:高级 普通读书笔记卡
  30. 思维链文本不自动证明推理 理解等级:中级 普通读书笔记卡
  31. 生成候选与验证正确分工 理解等级:中级 普通读书笔记卡
  32. 反馈循环必须有终止预算 理解等级:中级 普通读书笔记卡
  33. 并行多候选受覆盖与验证限制 理解等级:高级 普通读书笔记卡
  34. 推理时算力分配要按任务衡量 理解等级:高级 普通读书笔记卡
  35. 概率空间搜索需要质量信号 理解等级:高级 普通读书笔记卡
  36. 推理训练链须核实中间算术 理解等级:中级 普通读书笔记卡
  37. 对齐与事实性需要多层验收 理解等级:中级 结构图卡

09 推理优化

30 张卡片
  1. 推理优化先辨别瓶颈阶段 理解等级:中级 普通读书笔记卡
  2. 优化收益需同时报告代价 理解等级:中级 普通读书笔记卡
  3. 键值缓存复用既有前缀计算 理解等级:高级 普通读书笔记卡
  4. 跨请求缓存必须匹配前缀 理解等级:中级 普通读书笔记卡
  5. 缓存容量与生命周期共同管理 理解等级:中级 普通读书笔记卡
  6. 序列级早退减少整段计算深度 理解等级:中级 普通读书笔记卡
  7. 令牌级早退要补齐层间依赖 理解等级:高级 普通读书笔记卡
  8. 动态计算需评估路由开销 理解等级:高级 普通读书笔记卡
  9. 蒸馏压缩的是指定任务行为 理解等级:中级 普通读书笔记卡
  10. 教师响应构成任务蒸馏信号 理解等级:中级 普通读书笔记卡
  11. 蒸馏扩增要检查输入多样性 理解等级:中级 普通读书笔记卡
  12. 白盒蒸馏要明确表示对齐 理解等级:高级 普通读书笔记卡
  13. 教师反馈与自教都需质量筛选 理解等级:中级 普通读书笔记卡
  14. 蒸馏目标取决于可见接口 理解等级:高级 普通读书笔记卡
  15. 弱监督可唤起强模型已有表示 理解等级:高级 普通读书笔记卡
  16. 小规模蒸馏成功不能泛化卡数 理解等级:中级 普通读书笔记卡
  17. 推测解码批量验证草稿 理解等级:高级 普通读书笔记卡
  18. 草稿接受率不等于系统加速 理解等级:高级 普通读书笔记卡
  19. 草稿模型可由不同路径构造 理解等级:中级 普通读书笔记卡
  20. 章节并行依赖内容可分解 理解等级:中级 普通读书笔记卡
  21. 多令牌头仍需要联合选择 理解等级:高级 普通读书笔记卡
  22. 浮点范围与精度是不同维度 理解等级:中级 普通读书笔记卡
  23. 浮点最小值须区分具体含义 理解等级:中级 普通读书笔记卡
  24. 整数量化必须保存尺度约定 理解等级:中级 普通读书笔记卡
  25. 对称量化让实数零对应零码 理解等级:高级 普通读书笔记卡
  26. 非对称量化引入零点 理解等级:高级 普通读书笔记卡
  27. 离群裁剪以尾部误差换分辨率 理解等级:中级 普通读书笔记卡
  28. 权重与激活的量化统计不同 理解等级:中级 普通读书笔记卡
  29. 动态与静态量化各有成本 理解等级:中级 普通读书笔记卡
  30. 优化路线按资源和质量选择 理解等级:中级 结构图卡

10 外部工具与智能体

41 张卡片
  1. 交互范式按决策归属区分 理解等级:中级 普通读书笔记卡
  2. 被动检索将证据选择交给检索器 理解等级:中级 普通读书笔记卡
  3. 固定工作流约束步骤自由度 理解等级:中级 普通读书笔记卡
  4. 自主流程必须管理中间依赖 理解等级:中级 普通读书笔记卡
  5. 可靠性目标取决于失败后果 理解等级:中级 普通读书笔记卡
  6. 智能体定义需声明自主范围 理解等级:初级 普通读书笔记卡
  7. 任务分解先固定时间和口径 理解等级:中级 普通读书笔记卡
  8. 模型分工按任务接口组织 理解等级:中级 普通读书笔记卡
  9. 工具定义应明确能力与参数 理解等级:中级 普通读书笔记卡
  10. 模型生成调用由运行时执行 理解等级:中级 普通读书笔记卡
  11. 工具选择需要时效和适用范围 理解等级:初级 普通读书笔记卡
  12. 调用协议须区分等待与结束 理解等级:高级 普通读书笔记卡
  13. 参数结构校验不等于业务有效 理解等级:中级 普通读书笔记卡
  14. 工具很多时按需取详细说明 理解等级:中级 普通读书笔记卡
  15. 查询生成应绑定当前库结构 理解等级:高级 普通读书笔记卡
  16. 解释器接入必须隔离执行环境 理解等级:中级 普通读书笔记卡
  17. 提示仓库保存可复用任务程序 理解等级:中级 普通读书笔记卡
  18. 会话记忆保存动作与反馈证据 理解等级:中级 普通读书笔记卡
  19. 个性化偏好与任务事实分开存 理解等级:中级 普通读书笔记卡
  20. 可观测轨迹应支持失败定位 理解等级:中级 普通读书笔记卡
  21. 工具资料与业务知识职责不同 理解等级:中级 普通读书笔记卡
  22. 循环提示传递当前状态与角色 理解等级:中级 普通读书笔记卡
  23. 行动观察循环应以真实结果推进 理解等级:中级 普通读书笔记卡
  24. 反思要由可识别故障触发 理解等级:中级 普通读书笔记卡
  25. 护栏与验证器检查对象不同 理解等级:中级 普通读书笔记卡
  26. 输入输出检测器都有漏检边界 理解等级:中级 普通读书笔记卡
  27. 验证失败需要明确处置策略 理解等级:中级 普通读书笔记卡
  28. 重试与回退是不同恢复层次 理解等级:中级 普通读书笔记卡
  29. 摘要质量需拆成独立标准 理解等级:中级 普通读书笔记卡
  30. 摘要相关性与完整性分母不同 理解等级:中级 普通读书笔记卡
  31. 蕴含检验只能验证来源支持 理解等级:高级 普通读书笔记卡
  32. 数值出现不等于关系正确 理解等级:中级 普通读书笔记卡
  33. 具体性检查须与内容相关 理解等级:中级 普通读书笔记卡
  34. 完整性验证先定义必须保留项 理解等级:中级 普通读书笔记卡
  35. 去重和连贯性不是同一指标 理解等级:中级 普通读书笔记卡
  36. 结构与排序需采用对应验证 理解等级:中级 普通读书笔记卡
  37. 验证比生成容易并非普遍定理 理解等级:高级 普通读书笔记卡
  38. 验证器增加质量也增加延迟 理解等级:中级 普通读书笔记卡
  39. 编排器负责真实流程状态 理解等级:中级 普通读书笔记卡
  40. 界面操作依赖观察动作闭环 理解等级:中级 普通读书笔记卡
  41. 智能体系统的执行边界 理解等级:中级 结构图卡

11 表示学习与嵌入

42 张卡片
  1. 嵌入表示由任务目标塑造 理解等级:中级 普通读书笔记卡
  2. 池化方式必须匹配模型训练 理解等级:高级 普通读书笔记卡
  3. 均值池化需要屏蔽填充位置 理解等级:中级 普通读书笔记卡
  4. 序列上限与向量维度分开考虑 理解等级:中级 普通读书笔记卡
  5. 固定向量不能无损保存任意文本 理解等级:中级 普通读书笔记卡
  6. 检索器与阅读器分工验收 理解等级:中级 普通读书笔记卡
  7. 对称与非对称检索分布不同 理解等级:中级 普通读书笔记卡
  8. 相似度度量应与训练一致 理解等级:中级 普通读书笔记卡
  9. 单位化后点积等于余弦 理解等级:高级 普通读书笔记卡
  10. 语义相近不保证否定关系一致 理解等级:中级 普通读书笔记卡
  11. 领域适配应定义想改变的距离 理解等级:中级 普通读书笔记卡
  12. 三元组标签表达任务相关性 理解等级:中级 普通读书笔记卡
  13. 困难负例要排除未标记正例 理解等级:高级 普通读书笔记卡
  14. 负例阈值方向取决于分数定义 理解等级:高级 普通读书笔记卡
  15. 三元组损失只强制相对间隔 理解等级:高级 普通读书笔记卡
  16. 批内负例依赖样本互不相关 理解等级:高级 普通读书笔记卡
  17. 缓存对比损失换取有效大批次 理解等级:高级 普通读书笔记卡
  18. 指令嵌入按任务条件编码 理解等级:中级 普通读书笔记卡
  19. 描述式检索查找满足描述的文本 理解等级:中级 普通读书笔记卡
  20. 公开榜单不能代替目标域评估 理解等级:中级 普通读书笔记卡
  21. 向量存储先算基础字节量 理解等级:中级 普通读书笔记卡
  22. 套娃训练让前缀维度可用 理解等级:高级 普通读书笔记卡
  23. 维度裁剪必须受真实输出约束 理解等级:中级 普通读书笔记卡
  24. 层数与维度是不同压缩轴 理解等级:高级 普通读书笔记卡
  25. 二值嵌入以低精度换空间 理解等级:中级 普通读书笔记卡
  26. 整数嵌入依赖逐维校准范围 理解等级:中级 普通读书笔记卡
  27. 乘积量化保存子空间码本索引 理解等级:高级 普通读书笔记卡
  28. 压缩取舍需要端到端检索评估 理解等级:中级 普通读书笔记卡
  29. 解析质量决定可检索证据 理解等级:中级 普通读书笔记卡
  30. 句子切分需要领域例外 理解等级:中级 普通读书笔记卡
  31. 匹配粒度与返回粒度可分开 理解等级:中级 普通读书笔记卡
  32. 滑动窗口以重复换邻近上下文 理解等级:中级 普通读书笔记卡
  33. 元数据边界保留章节作用域 理解等级:中级 普通读书笔记卡
  34. 版面理解补充文本结构线索 理解等级:中级 普通读书笔记卡
  35. 语义分块保留非连续来源 理解等级:中级 普通读书笔记卡
  36. 全局单位必须传递到局部证据 理解等级:中级 普通读书笔记卡
  37. 后分块先全局编码再局部池化 理解等级:高级 普通读书笔记卡
  38. 向量库管理索引与元数据 理解等级:中级 普通读书笔记卡
  39. 多层表示支持不同检索入口 理解等级:中级 普通读书笔记卡
  40. 降维图只帮助观察局部模式 理解等级:中级 普通读书笔记卡
  41. 稀疏特征解释依赖所学字典 理解等级:高级 普通读书笔记卡
  42. 表示管线需保留来源映射 理解等级:中级 结构图卡

12 检索增强生成

50 张卡片
  1. 检索增强针对知识可达性 理解等级:中级 普通读书笔记卡
  2. 长尾事实记忆缺少确定阈值 理解等级:中级 普通读书笔记卡
  3. 检索对象不局限外部知识 理解等级:中级 普通读书笔记卡
  4. 动态检索按时效和风险决策 理解等级:中级 普通读书笔记卡
  5. 可选阶段要有独立增益证据 理解等级:中级 普通读书笔记卡
  6. 查询改写要保留原始约束 理解等级:中级 普通读书笔记卡
  7. 伪相关反馈依赖首轮质量 理解等级:中级 普通读书笔记卡
  8. 假想文档是检索代理不是证据 理解等级:中级 普通读书笔记卡
  9. 多次扩展一致仍可能共同偏题 理解等级:中级 普通读书笔记卡
  10. 查询与文档改写分摊成本不同 理解等级:中级 普通读书笔记卡
  11. 复杂检索可拆成带依赖子问 理解等级:中级 普通读书笔记卡
  12. 首轮召回应覆盖所有必要证据 理解等级:中级 普通读书笔记卡
  13. 词法检索仍是有效基线 理解等级:中级 普通读书笔记卡
  14. 混合检索需定义融合方式 理解等级:高级 普通读书笔记卡
  15. 元数据过滤错误会直接漏召回 理解等级:中级 普通读书笔记卡
  16. 生成检索先建立文档标识映射 理解等级:高级 普通读书笔记卡
  17. 合法标识约束不能保证相关 理解等级:高级 普通读书笔记卡
  18. 紧耦合检索优化下游收益 理解等级:高级 普通读书笔记卡
  19. 图检索用关系支持全局主题 理解等级:高级 普通读书笔记卡
  20. 重排无法挽回首轮漏掉的文档 理解等级:中级 普通读书笔记卡
  21. 交叉编码联合比较查询与文档 理解等级:高级 普通读书笔记卡
  22. 重排分数要核对激活函数 理解等级:高级 普通读书笔记卡
  23. 后交互预计算文档令牌表示 理解等级:高级 普通读书笔记卡
  24. 查询似然按候选文档条件计算 理解等级:高级 普通读书笔记卡
  25. 似然排序取决于接口可见性 理解等级:中级 普通读书笔记卡
  26. 点对列表排序有不同误差 理解等级:高级 普通读书笔记卡
  27. 排序蒸馏继承教师和候选偏差 理解等级:中级 普通读书笔记卡
  28. 证据压缩要保持回答必要条件 理解等级:中级 普通读书笔记卡
  29. 抽取摘要也可能丢失语境 理解等级:中级 普通读书笔记卡
  30. 紧耦合摘要用答案收益筛选 理解等级:高级 普通读书笔记卡
  31. 金标似然不能在线凭空获得 理解等级:高级 普通读书笔记卡
  32. 链式笔记区分答案与背景 理解等级:中级 普通读书笔记卡
  33. 间接先后描述不必然证明继任 理解等级:中级 普通读书笔记卡
  34. 笔记与答案损失需分开权重 理解等级:高级 普通读书笔记卡
  35. 证据插入顺序要结合有效窗口 理解等级:中级 普通读书笔记卡
  36. 分文档生成再融合有额外风险 理解等级:中级 普通读书笔记卡
  37. 主动检索以生成状态决定取证 理解等级:高级 普通读书笔记卡
  38. 低概率触发检索只是代理信号 理解等级:高级 普通读书笔记卡
  39. 显式检索标记需要运行时处理 理解等级:中级 普通读书笔记卡
  40. 引用正确需匹配具体主张 理解等级:中级 普通读书笔记卡
  41. 外部记忆扩大可取回范围 理解等级:中级 普通读书笔记卡
  42. 摘要记忆与原始记录互补 理解等级:中级 普通读书笔记卡
  43. 动态示例以任务收益衡量 理解等级:高级 普通读书笔记卡
  44. 检索也可参与预训练目标 理解等级:高级 普通读书笔记卡
  45. 平凡检索排除同源答案泄漏 理解等级:高级 普通读书笔记卡
  46. 知识冲突必须回到来源判断 理解等级:中级 普通读书笔记卡
  47. 长窗口评估要加入相关干扰 理解等级:中级 普通读书笔记卡
  48. 长上下文和检索是组合选项 理解等级:中级 普通读书笔记卡
  49. 微调与检索改变不同层面 理解等级:中级 普通读书笔记卡
  50. 知识增强管线保留证据链 理解等级:中级 结构图卡

13 设计模式与系统架构

12 张卡片
  1. 系统架构把模型置于质量约束中 理解等级:中级 普通读书笔记卡
  2. 多模型分工有两种基本方式 理解等级:中级 普通读书笔记卡
  3. 级联先尝试便宜模型再升级 理解等级:中级 普通读书笔记卡
  4. 级联门槛必须校准错误放行率 理解等级:高级 普通读书笔记卡
  5. 首词概率间隔不代表整答可靠 理解等级:高级 普通读书笔记卡
  6. 预路由节省重复推理也有误分 理解等级:中级 普通读书笔记卡
  7. 专用模型接口需保留任务约束 理解等级:中级 普通读书笔记卡
  8. 编程框架分离流程与可调变量 理解等级:中级 普通读书笔记卡
  9. 模块签名定义输入输出契约 理解等级:中级 普通读书笔记卡
  10. 优化器效果由指标和数据约束 理解等级:高级 普通读书笔记卡
  11. 声明式生成约束不保证语义正确 理解等级:中级 普通读书笔记卡
  12. 架构选择对齐决策发生时机 理解等级:中级 结构图卡

全书概览

Designing Large Language Model Applications

Skill 版本:v24

执行模式:light

建档进度:done(全文阅读、知识卡、实践筛选、整书讲解、导入对账与归档验收均已完成)

四象限评级:经典原理(高信息浓度、高稳定性),按当前规则P4。

内容形态:概念解析型,结合工程练习。

评级理由:全书以数据、分布、表示、适配、检索和系统取舍的机制解释为主体,概念比较与条件说明密集,核心关系可迁移;大量库、型号和接口为历史实例,已与耐久机制区分,不把版本代码当通用正确性保证。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前言与阅读路线 done 3
01 大语言模型入门 done 32
02 预训练数据 done 42
03 词表与分词 done 25
04 架构与学习目标 done 36
05 按任务适配模型 done 36
06 微调 done 34
07 进阶微调技术 done 26
08 对齐训练与推理 done 37
09 推理优化 done 30
10 外部工具与智能体 done 41
11 表示学习与嵌入 done 42
12 检索增强生成 done 50
13 设计模式与系统架构 done 12

来源与非正文排除

  • 身份:标题页/封面Suhas Pai,版权2025年3月第一版,首次release2025-03-06;OPF出版日期2025-03-12;本文件ISBN9781098159047,前言引用纸本ISBN9781098150501,保留区别。
  • OPF标题带个人分发后缀,不作为书名;规范书名经封面和标题页确认。
  • cover、赞誉、标题、版权、献辞、作者与colophon全文已读;封面已查看,无独立机制。作者职位保留原书时点,不当作当前事实;鲸鱼介绍不属于技术主线。
  • 三个分部引言并入导读,目录已读;index全文57510字符已读,仅术语与回跳导航无新增机制。

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 嵌入检索实现深读 实现深读 done 11 计划;首轮源码映射已准备;实际实践未执行
2 读书检索证据评估表 真实任务 done 10⁄12 计划;后续评价样本待实际整理;实际实践未执行

实践候选筛选:done。采用2项;未采用完整预训练、大规模模型下载/训练、付费多模型比较及现实自动操作,有限源码与证据任务足以覆盖当前学习目标。

第1章引用与提名登记

名称 类型 去向
Kaplan缩放研究、Hoffmann计算最优研究、Wei涌现研究、Schaeffer评估研究 论文 主张作为版本化背景,机制并入第1章,不声称外部全文已读
ELIZA及Wade Brainerd实现、Chess-GPT、Geneformer 项目 规则/序列建模例子,未复现
Speech and Language Processing、Foundations of Statistical NLP、Bender语言学书、Goodfellow Deep Learning、Dive into Deep Learning、Goldberg Neural Network Methods 书 作者延伸阅读,不据书名凑独立知识卡
Learn Prompting、APO、AutoPrompt、Sprague CoT研究、Gandalf、Li情绪提示研究 教程/研究 提示边界参考,未执行对抗提示或外部游戏
I Am a Strange Loop、I am a strange dataset、Shaib语法模板、diversity 书/数据/研究 能力与检测评估线索,不复述历史无模型能答成当前事实
LangChain、Gradio、Unstructured、Sentence Transformers、Chroma、OpenAI 框架/服务 原型职责及旧接口示例,未安装或调用

第2章引用与提名登记

名称 类型 去向
Common Crawl/C4、The Pile、WebText/OpenWebText、Wikipedia、BooksCorpus、FineWeb/Edu、ROOTS、RedPajama/SlimPajama、RefinedWeb、CCNet、BERTIN 语料/管线 来源与清洗策略背景;版本大小与可用性非当前核验
phi、Cosmopedia、SmolLM 模型/合成语料 种子与受控提示机制,未下载
jusText、Dragnet、html2text、inscriptis、Newspaper、Trafilatura、langdetect/langid、fastText、pycld2、KenLM、DataTrove 工具 抽取、识别、质量与规模处理,各按正文职责登记
MinHash/LSH、SimHash、Suffix Array 算法提名 近似/片段去重参考,本章不补造未给算法细节
Carlini、Lee、Tramer、Muennighoff、Xue、Goyal、Razeghi、McCoy、Rogers、Dodge等研究 论文 本章机制及观察的追溯线索,未声称全部外部全文已读
Faker、python-stdnum、DP-SGD、DoReMi、RegMix 工具/方法 隐私替换、格式校验、形式保证及混合参考,未执行

第3章引用与提名登记

名称 类型 语境
GPT-NeoX、BERT、FLAN-T5、tiktoken、Llama/Gemma 模型/工具 词表及编码历史示例,不声明当前固定ID/支持集合
CANINE、ByT5、Charformer 研究模型 码点/字节及内部压缩路线,未运行
BPE、WordPiece、Unigram LM、GALACTICA 算法/模型 已展开BPE/WordPiece机制成卡,Unigram仅提名不补写
Tao词表缩放、Goldman/Schmidt压缩比较、Petrov语言parity 研究 词表预算与评估争议,未将压缩质量关系当定理
HF WordPiece课程与Tokenizers pipeline 官方资料 核对前缀贪心与训练公式来源边界

第4章引用与提名登记

名称 类型 去向
Attention Is All You Need、BERT 原始论文 核对原始Post-LN与80/10/10替换
ALiBi、RoPE、NoPE、MoE、upcycling 架构技术 按正文具体展开成卡,未扩大为无限外推或必然优势
GPTNeo、T5、BART、UL2、Switch、Mixtral、DeepSeekV3 模型 骨架与目标的版本示例,GPT4MoE未确认不作事实
NLTK、Emma、Firth分布假说、Goldberg神经NLP 工具/书/观点 语境表征与延伸阅读,不声称全部外部全文已读
Lichess、PGN、Chess-GPT及书附项目 数据/记号/项目 领域表示实验候选,未下载棋局或训练

第5章引用与提名登记

名称 类型 去向
FLAN、RLHF、RLAIF、ConstitutionalAI 数据/训练范式 本章说明变体来源,第6/8章待展开
LM Evaluation Harness、Open LLM Leaderboard、HELM、Arena 评测工具/榜单 协议与样本边界;不更新或推荐当前排名
MMLU、ARC、HellaSwag、TruthfulQA、WinoGrande、GSM8K 基准 任务覆盖参考,不把总分等同应用收益
Accelerate、Ollama、LMStudio、GPT4All、TGI、GGUF 部署工具/格式 本章版本语境,未安装运行或确认当下支持
Jsonformer、LMQL、Guidance、LIT-NLP 输出/调试框架 形式控制与诊断职责,未称通用全部兼容
Towards Monosemanticity 原始研究 SAE特征解释的有限范围,来源见research证据
商业厂商、公开模型与许可证表 历史分类 只登记本版选择背景,不作为当前商业/法律判断

第6章引用与提名登记

名称 类型 去向
Transformers4.35、Accelerate0.24、PEFT0.6、bitsandbytes0.41、TRL0.7.4 框架 原锁定版本;只核对指定配置源码,未安装训练
AdamW、Adafactor、SGD、Lion、低位及分页优化器 优化器 状态/资源职责,未按历史经验推荐当前通用默认
LoRA、NEFTune、标签平滑、packing 方法 本章机制和限制,LoRA第7章继续展开
FLAN/P3、Super-NaturalInstructions、Self-Instruct、UnnaturalInstructions、Evol-Instruct、LIMA、Bonito 数据/研究/工具 指令构造路线和覆盖边界,未生成或下载数据
LearningRateFinder、Jin学习率论文、Bulatov检查点说明 工具/参考 原文延伸阅读,不声称外部全文已读或运行

第7章引用与提名登记

名称 类型 去向
DAPT/TAPT、DEMix、Replay、参数扩展 方法 新旧分布和共享路径限制,未训练
adapters、AdapterDrop、prefix/prompt tuning、BitFit、可学习掩码 方法/工具 新参数与子集路线,各按展开范围取材
LLM-Blender、PairRanker、GenFuser、ColD Fusion、AdapterSoup、AdaMix 框架/研究 输出与权重融合分工,不推导未给出算法细节
Aharoni、Jin、Winata、Gupta、Gururangan、Lester、Zaken、Zhao、Jiang、Zaman等研究 论文 原文追溯线索,未声称全部外部全文已读

第8章引用与提名登记

名称 类型 去向
Askell/HHH、RLHF、PPO、Anthropic hh-rlhf、TRL 原则/方法/数据/框架 示范、偏好及策略优化分工;未训练
SelfAware、CoVe、Recitation、Factual Nucleus Sampling、DoLa 研究 自知、交叉检查与解码路线;DoLa原作者摘要与实现入口查阅
Lookback Lens 论文 原文2.1公式及标签核验:https://arxiv.org/html/2407.07071v1
Knowledge Overshadowing、S2A、Dziri子图匹配、推理时计算、reasoning-0.01 研究/数据 条件覆盖、干扰处理、推理假说与算术核验;未运行模型

第9章引用与提名登记

名称 类型 去向
KV cache、context caching、FastBERT、HashEE、CALM、MoE 方法/研究 缓存与动态计算,各项成本/质量约束;未部署
DistilBERT、Xu蒸馏综述、Liang层级蒸馏、RLAIF、Burns弱到强泛化 研究 蒸馏信号与可见性、学生能力边界
DistillSpec、自推测解码、REST、Medusa 研究/方法 草稿、检索和多头候选不同实现;不补造原书未展开的算法
Demystifying Floating Point Precision、A Visual Guide to Quantization、Zhou推理优化综述 教程/综述 延伸入口,未声称外部全文已读

第10章引用与提名登记

名称 类型 去向
LangChain、LlamaIndex、DuckDuckGo、Wikipedia、arXiv、PythonREPL、SQLDatabase、Llama3.1/llama-stack 框架/工具 调用、执行和schema分工,历史接口示意;未运行
ToolLLaMA、ReAct、Reflexion/Reflection-Llama、LangSmith、Langtrace、OpenLLMetry 研究/观测 选择、循环、反思与轨迹;未声称完整外读
Guardrails、NeMo Guardrails、Llama Guard、Presidio、Rebuff、Bleach 框架/检测 按具体风险取材,不作100%安全承诺
BLEU、ROUGE、BERTScore、spaCy、Thareja先决知识检测、SAT/逻辑规划 指标/研究/工具 多维验证及来源忠实性,符号实现原书未展开不补造
CrewAI、AutoGen、MetaGPT、XAgent、Computer Use Demo 框架/演示 编排与GUI闭环入口,未执行现实操作

第11章引用与提名登记

名称 类型 去向
Sentence Transformers/TAS-B、MPNet、BGE-M3、Jina、SGPT、OpenAI/Cohere/Nomic 模型/服务 池化、任务与版本约定;只取TAS-B/Nomic配置未下载权重
Moreira负例、TripletLoss、MultipleNegativesRankingLoss、Instructor、Ravfogel描述检索 研究/训练 标注、损失和指令分工,未训练
MTEB、MRL、Espresso、Matryoshka2dLoss、PQ、Qdrant 基准/压缩 应用评估与存储取舍;研究数字限定实验
Punkt、spaCy、Stanza、ClarityNLP、Unstructured、Textractor、LayoutLMv3、ColPali、Jina late chunking 解析/分块 边界与作用域、先编码后池化,不补造未展开算法
Chroma、Weaviate、Milvus、Pinecone、LanceDB、ElasticSearch、Redis、Postgres、Nomic Atlas、Prism/Linus Lee 数据库/可视化/解释 功能及观察用途,不按书中列表作当前推荐

第12章引用与提名登记

名称 类型 去向
MEMIT、Kandpal/BLOOM长尾、Jagielski遗忘、Mallen动态检索 研究 记忆与检索条件,研究数值非普适阈值
PRF、Query2doc、HyDE、query2document2keyword、doc2query、contextual retrieval 改写 检索代理及漂移边界,不作事实证据
BM25、Lucene/ElasticSearch、TF-IDF、DFI/DFR/IB/Dirichlet/Jelinek Mercer IR方法 基线及混合路线,原书未展开的公式不补造
生成检索/Pradeep/Tay/Wang/Askari、LLM-Embedder、GraphRAG 研究 标识映射、下游反馈与图关系质量
CrossEncoder、ColBERT、QLM、RankGPT/RankVicuna/RankZephyr、Xu摘要、Yu CoN、FLARE、Command-R 研究/工具 排序、压缩与主动取证,均未运行
Letta/MemGPT、Mem0、LLM-R、REALM、RECALL、needle tests、Ovadia对比 研究/框架 历史、示例、训练和方案比较,不冒称全面外读

第13章引用与提名登记

名称 类型 去向
LLM-Blender、Ramirez margin sampling、级联/路由/专用模型 研究/架构 多模型职责与置信代理,不声称最佳模型当前推荐
DSPy、ChainOfThought、Signature、Optimizers、LMQL 框架 声明接口、迭代指标与输出约束,未安装执行

生成交付

446张知识卡、2实践计划,完整整书笔记及逐单元覆盖已完成;25项spine全部读取。轻量模式未执行生成后的笔记复核、独立审查或审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。