来源书籍
AI工程:大模型应用开发实战
章节与卡片
00 译者序
1 张卡片
- 机制比工具耐久 理解等级:高级 普通读书笔记卡
00 前言
5 张卡片
01 基于基础模型构建AI应用入门
48 张卡片
- 模型服务降低入口 理解等级:中级 普通读书笔记卡
- 语言模型编码统计规律 理解等级:初级 普通读书笔记卡
- token与词表共同约束 理解等级:中级 普通读书笔记卡
- 掩码与自回归上下文 理解等级:中级 普通读书笔记卡
- 补全不等于对话 理解等级:中级 普通读书笔记卡
- 自监督从输入构造标签 理解等级:中级 普通读书笔记卡
- 序列边界也是训练目标 理解等级:初级 普通读书笔记卡
- 参数规模不是固定门槛 理解等级:中级 普通读书笔记卡
- 容量需要匹配训练数据 理解等级:中级 普通读书笔记卡
- 多模态联合使用输入 理解等级:初级 普通读书笔记卡
- 基础模型面向通用适配 理解等级:中级 普通读书笔记卡
- CLIP学习图文共同表示 理解等级:中级 延伸参考卡
- 通用适配与专用模型 理解等级:高级 普通读书笔记卡
- 普及由供需共同推动 理解等级:中级 普通读书笔记卡
- 提及AI不证明增长原因 理解等级:高级 普通读书笔记卡
- 任务受影响不等于替代 理解等级:高级 延伸参考卡
- 开源样本有选择偏差 理解等级:高级 普通读书笔记卡
- 封闭任务便于控风险 理解等级:中级 普通读书笔记卡
- 编程增益随任务变化 理解等级:高级 普通读书笔记卡
- 创意生成用于迭代选择 理解等级:中级 普通读书笔记卡
- 写作建议保留人选择 理解等级:中级 普通读书笔记卡
- 内容农场放大低质信息 理解等级:中级 普通读书笔记卡
- 个性化材料支持学习 理解等级:中级 普通读书笔记卡
- 智能NPC突破脚本对话 理解等级:初级 普通读书笔记卡
- 聚合信息接入后续行动 理解等级:中级 普通读书笔记卡
- 非结构化数据变可检索 理解等级:中级 普通读书笔记卡
- 智能体规划并调用工具 理解等级:初级 普通读书笔记卡
- 按业务动机判断自建 理解等级:高级 普通读书笔记卡
- 关键与辅助决定容错 理解等级:中级 普通读书笔记卡
- 主动功能更怕打扰 理解等级:中级 普通读书笔记卡
- 动态功能持续适配用户 理解等级:中级 普通读书笔记卡
- 人在回路分配决策权 理解等级:中级 普通读书笔记卡
- 数据飞轮需要使用反馈 理解等级:中级 普通读书笔记卡
- 补模型短板的功能会失效 理解等级:高级 普通读书笔记卡
- 业务收益不等于模型指标 理解等级:高级 普通读书笔记卡
- 首字延迟与生成速度 理解等级:中级 普通读书笔记卡
- 最后一公里改进更难 理解等级:高级 普通读书笔记卡
- 模型升级也需要维护 理解等级:高级 普通读书笔记卡
- AI工程栈的三层职责 理解等级:中级 普通读书笔记卡
- 适配先看是否更新权重 理解等级:中级 普通读书笔记卡
- 训练阶段继承不同起点 理解等级:中级 普通读书笔记卡
- 改权重不一定是训练 理解等级:中级 普通读书笔记卡
- 数据工程随输出开放变化 理解等级:中级 普通读书笔记卡
- 逐token生成累积延迟 理解等级:中级 普通读书笔记卡
- 开放回答不能穷举答案 理解等级:中级 普通读书笔记卡
- 模型比较要对齐协议 理解等级:高级 普通读书笔记卡
- AI界面也是反馈入口 理解等级:中级 普通读书笔记卡
- 先用产品验证再投模型 理解等级:中级 普通读书笔记卡
02 理解基础模型
75 张卡片
- 训练数据限定能力范围 理解等级:中级 普通读书笔记卡
- 易取得不等于适合训练 理解等级:中级 普通读书笔记卡
- C4并非原始网页全集 理解等级:初级 延伸参考卡
- 低资源是训练代表不足 理解等级:中级 普通读书笔记卡
- 翻译中转可能丢关系 理解等级:中级 普通读书笔记卡
- 语言评估不能只测英语 理解等级:高级 普通读书笔记卡
- 分词效率影响多语成本 理解等级:中级 普通读书笔记卡
- 领域数据不同于日常问答 理解等级:高级 普通读书笔记卡
- 基准只显现部分领域 理解等级:高级 普通读书笔记卡
- AlphaFold依赖结构数据 理解等级:初级 延伸参考卡
- seq2seq的压缩瓶颈 理解等级:中级 普通读书笔记卡
- 循环传播影响梯度稳定 理解等级:中级 普通读书笔记卡
- 注意力解开固定摘要 理解等级:中级 普通读书笔记卡
- 预填充并行解码串行 理解等级:中级 结构图卡
- QKV按需求取信息 理解等级:中级 结构图卡
- 多头注意力分视角组合 理解等级:中级 普通读书笔记卡
- 长上下文增加KV负担 理解等级:中级 普通读书笔记卡
- 激活函数打破线性叠加 理解等级:中级 普通读书笔记卡
- Transformer模块分工 理解等级:中级 普通读书笔记卡
- 替代架构也要比工程条件 理解等级:高级 普通读书笔记卡
- RWKV无上限不等于会记 理解等级:中级 延伸参考卡
- SSM探索长序列计算 理解等级:初级 延伸参考卡
- Mamba用选择状态扩展 理解等级:中级 延伸参考卡
- Jamba混合两种层结构 理解等级:中级 延伸参考卡
- 参数量不能跨代定优劣 理解等级:高级 普通读书笔记卡
- 权重内存只是下限 理解等级:中级 普通读书笔记卡
- 稀疏与激活参数要分清 理解等级:中级 普通读书笔记卡
- 混合专家按token选择 理解等级:中级 普通读书笔记卡
- 样本数受文本长度影响 理解等级:中级 普通读书笔记卡
- 训练token包含重复遍历 理解等级:初级 普通读书笔记卡
- FLOPs与FLOP每秒不同 理解等级:中级 普通读书笔记卡
- 峰值不能直接算工期 理解等级:中级 普通读书笔记卡
- 算力最优先给定预算 理解等级:中级 普通读书笔记卡
- 算力最优的数据平衡 理解等级:中级 延伸参考卡
- 训练最优未必部署最优 理解等级:高级 普通读书笔记卡
- 进步降成本不代表升级便宜 理解等级:高级 普通读书笔记卡
- 超参数与学得参数不同 理解等级:初级 普通读书笔记卡
- 规模外推迁移训练配置 理解等级:中级 普通读书笔记卡
- 逆向规模需核验任务范围 理解等级:高级 普通读书笔记卡
- 删网页不等于模型遗忘 理解等级:中级 普通读书笔记卡
- 合成数据循环要检验 理解等级:高级 普通读书笔记卡
- 数据可得性包含许可 理解等级:中级 普通读书笔记卡
- 电力约束限制算力扩展 理解等级:中级 普通读书笔记卡
- 后训练关注整体响应 理解等级:中级 普通读书笔记卡
- 监督微调克隆示范行为 理解等级:中级 普通读书笔记卡
- 示范质量依赖标注能力 理解等级:中级 普通读书笔记卡
- 偏好对齐没有单一人群 理解等级:高级 普通读书笔记卡
- RLHF分评分与生成优化 理解等级:中级 结构图卡
- 成对比较减轻打分分歧 理解等级:中级 普通读书笔记卡
- 排序可拆成偏好对 理解等级:中级 普通读书笔记卡
- 奖励分差学习相对偏好 理解等级:中级 普通读书笔记卡
- 评判与生成难度不同 理解等级:高级 普通读书笔记卡
- BestofN可只在输出端选 理解等级:中级 普通读书笔记卡
- 概率来自归一化分数 理解等级:中级 普通读书笔记卡
- 温度重塑采样分布 理解等级:中级 普通读书笔记卡
- 对数概率便于计算 理解等级:中级 普通读书笔记卡
- topk固定候选数量 理解等级:中级 普通读书笔记卡
- topp按累计概率截断 理解等级:中级 普通读书笔记卡
- 停止条件影响完整格式 理解等级:中级 普通读书笔记卡
- 推理时计算换取候选 理解等级:中级 普通读书笔记卡
- 集束搜索逐步留候选 理解等级:中级 普通读书笔记卡
- 序列概率是条件连乘 理解等级:中级 普通读书笔记卡
- 长度归一改变选择偏好 理解等级:中级 普通读书笔记卡
- 更多候选可能骗过验证器 理解等级:高级 普通读书笔记卡
- 自洽性聚合最终答案 理解等级:中级 普通读书笔记卡
- 语义解析输出机器表示 理解等级:初级 普通读书笔记卡
- 结构可解析不代表内容对 理解等级:中级 普通读书笔记卡
- 后处理只修可辨小错 理解等级:中级 普通读书笔记卡
- 约束采样过滤无效token 理解等级:中级 结构图卡
- 分类头限定输出集合 理解等级:中级 普通读书笔记卡
- 不一致有两种来源表现 理解等级:中级 普通读书笔记卡
- 固定种子不等于完全确定 理解等级:高级 普通读书笔记卡
- 滚雪球幻觉自我扩展 理解等级:中级 普通读书笔记卡
- 示范知识可能超过模型 理解等级:高级 普通读书笔记卡
- 偏好改善不保证事实改善 理解等级:高级 普通读书笔记卡
03 评估方法论
39 张卡片
- 评估从系统失效环节开始 理解等级:中级 普通读书笔记卡
- 复杂输出需要领域核查 理解等级:中级 普通读书笔记卡
- 基准饱和要求更新测量 理解等级:中级 普通读书笔记卡
- 黑盒模型更依赖输出试验 理解等级:中级 普通读书笔记卡
- 熵描述数据本身的可预测性 理解等级:中级 普通读书笔记卡
- 交叉熵分解为数据熵与分布差异 理解等级:高级 普通读书笔记卡
- 比较压缩指标先统一分词和单位 理解等级:中级 普通读书笔记卡
- 困惑度是交叉熵的指数 理解等级:高级 普通读书笔记卡
- 困惑度比较必须控制计算协议 理解等级:中级 普通读书笔记卡
- 后训练任务质量与困惑度可能背离 理解等级:中级 普通读书笔记卡
- 低困惑度只能提示训练污染 理解等级:中级 普通读书笔记卡
- 困惑度需逐词元概率 理解等级:中级 普通读书笔记卡
- 功能正确性优先测任务结果 理解等级:中级 普通读书笔记卡
- 采样次数影响通过率 理解等级:高级 普通读书笔记卡
- 参考评估受标准答案覆盖限制 理解等级:中级 普通读书笔记卡
- 答案子串匹配可能奖励错误陈述 理解等级:中级 普通读书笔记卡
- 词汇重叠不代表功能正确 理解等级:中级 普通读书笔记卡
- 编辑距离依赖允许的操作 理解等级:中级 普通读书笔记卡
- 语义相似度同时依赖表示与度量 理解等级:中级 普通读书笔记卡
- 余弦相似度测量向量方向 理解等级:高级 普通读书笔记卡
- 嵌入质量要用目标任务验证 理解等级:中级 普通读书笔记卡
- 跨模态检索依靠共同表示空间 理解等级:高级 结构图卡
- AI裁判适合灵活标准但需要校准 理解等级:中级 普通读书笔记卡
- 裁判提示词必须定义评分锚点 理解等级:中级 普通读书笔记卡
- 裁判版本是评估协议的一部分 理解等级:中级 普通读书笔记卡
- 评分一致不等于评分准确 理解等级:中级 普通读书笔记卡
- 同名评估指标也可能不可比较 理解等级:中级 普通读书笔记卡
- 在线裁判在风险成本与延迟间取舍 理解等级:中级 普通读书笔记卡
- 裁判偏差要通过受控交换检测 理解等级:中级 普通读书笔记卡
- 自我批评适合检查但不是独立证据 理解等级:中级 普通读书笔记卡
- 选择裁判看专项能力而非只看规模 理解等级:中级 普通读书笔记卡
- 专用裁判的输入决定评估任务 理解等级:中级 普通读书笔记卡
- 偏好信号不能替代事实正确性 理解等级:中级 普通读书笔记卡
- 同时比较候选与AB测试不同 理解等级:中级 普通读书笔记卡
- 模型排名是对未来对局的预测 理解等级:中级 普通读书笔记卡
- 比较评估受模型对数量增长限制 理解等级:中级 普通读书笔记卡
- 偏好传递性是需要验证的假设 理解等级:中级 普通读书笔记卡
- 排名受评估分布限制 理解等级:高级 普通读书笔记卡
- 相对胜率不能给出绝对业务收益 理解等级:中级 普通读书笔记卡
04 评估AI系统
41 张卡片
- 评估驱动开发先定义价值证据 理解等级:中级 普通读书笔记卡
- 应用评估需要四类标准 理解等级:中级 普通读书笔记卡
- 功能正确还要能高效维护 理解等级:中级 普通读书笔记卡
- 选择题能力不等于生成能力 理解等级:中级 普通读书笔记卡
- 局部忠实与全局正确需要分开 理解等级:中级 普通读书笔记卡
- 事实核查先解决证据可信度 理解等级:中级 普通读书笔记卡
- 幻觉测试要覆盖薄弱查询 理解等级:中级 普通读书笔记卡
- 多次回答一致不能独立证明真实 理解等级:中级 普通读书笔记卡
- 长回答核查先拆成独立陈述 理解等级:中级 结构图卡
- 文本蕴含保留证据不足这一类 理解等级:中级 普通读书笔记卡
- 内容风险检测应按类别和语言验证 理解等级:中级 普通读书笔记卡
- 指令失败需要区分能力与提示问题 理解等级:中级 普通读书笔记卡
- 把复合指令拆成可验证标准 理解等级:中级 普通读书笔记卡
- 角色评估含知识边界 理解等级:中级 普通读书笔记卡
- 多目标选型先排除硬性不达标 理解等级:中级 普通读书笔记卡
- 延迟指标必须对应用户体验环节 理解等级:中级 普通读书笔记卡
- 自托管成本取决于容量利用率 理解等级:中级 普通读书笔记卡
- 部署决定属性可改性 理解等级:高级 普通读书笔记卡
- 模型筛选从硬条件走向应用内证据 理解等级:中级 结构图卡
- 权重开放与数据开放是不同维度 理解等级:中级 普通读书笔记卡
- 模型可下载不等于用途无限制 理解等级:中级 普通读书笔记卡
- 同一模型换服务提供商也要验证 理解等级:中级 普通读书笔记卡
- 部署方案要按数据流与控制权评估 理解等级:中级 普通读书笔记卡
- 开放不消除溯源风险 理解等级:高级 普通读书笔记卡
- 模型API功能边界影响后续适配 理解等级:中级 普通读书笔记卡
- 外部模型依赖需要版本和替换策略 理解等级:中级 普通读书笔记卡
- 排行榜覆盖取决于所选任务 理解等级:中级 普通读书笔记卡
- 聚合基准成绩会隐含能力权重 理解等级:中级 普通读书笔记卡
- 基准污染可能来自共同数据源 理解等级:中级 普通读书笔记卡
- 去污染受数据可见性限制 理解等级:高级 普通读书笔记卡
- 组件与端到端评估互补 理解等级:高级 普通读书笔记卡
- 任务完成度比单轮好看更接近价值 理解等级:中级 普通读书笔记卡
- 评估指南也要定义越界处理 理解等级:中级 普通读书笔记卡
- 业务阈值需要用实际收益校准 理解等级:中级 普通读书笔记卡
- 分层评估可平衡成本与信号质量 理解等级:中级 普通读书笔记卡
- 评估切片揭示总体分数掩盖的问题 理解等级:中级 普通读书笔记卡
- 辛普森悖论来自分组权重差异 理解等级:中级 普通读书笔记卡
- 自助抽样检查评估集的不确定性 理解等级:中级 普通读书笔记卡
- 检测细小改进需要更多评估样本 理解等级:中级 普通读书笔记卡
- 评估流水线也需要被评估 理解等级:中级 普通读书笔记卡
- 评估迭代必须保留实验可比性 理解等级:中级 普通读书笔记卡
05 提示工程
30 张卡片
- 提示工程实验需要系统化评估 理解等级:中级 普通读书笔记卡
- 提示词由任务示例与具体输入组成 理解等级:中级 普通读书笔记卡
- 提示鲁棒性通过等价扰动测量 理解等级:中级 普通读书笔记卡
- 上下文学习不更新模型权重 理解等级:中级 普通读书笔记卡
- 少样本数量要按收益和成本选择 理解等级:中级 普通读书笔记卡
- 聊天模板与应用提示模板职责不同 理解等级:中级 普通读书笔记卡
- 系统角色优先级来自训练和协议 理解等级:中级 普通读书笔记卡
- 容量不等于有效利用 理解等级:高级 普通读书笔记卡
- 上下文测试要排除模型已有记忆 理解等级:中级 普通读书笔记卡
- 清晰指令把默认假设变成明确约束 理解等级:中级 普通读书笔记卡
- 输入结束标记帮助确定生成边界 理解等级:中级 普通读书笔记卡
- 限制知识来源不能只依靠一句提示 理解等级:中级 普通读书笔记卡
- 任务拆分需要衡量误差成本与延迟 理解等级:中级 普通读书笔记卡
- 拆分提示使中间步骤可观察 理解等级:中级 普通读书笔记卡
- 更多推理步骤需要验证收益与预算 理解等级:中级 普通读书笔记卡
- 局部提示改进可能损害端到端效果 理解等级:中级 普通读书笔记卡
- 自动提示优化本质上是指标搜索 理解等级:中级 普通读书笔记卡
- 提示工具的隐藏调用也要计入成本 理解等级:中级 普通读书笔记卡
- 提示目录保存版本依赖 理解等级:中级 普通读书笔记卡
- 系统提示词不应承担秘密存储职责 理解等级:中级 普通读书笔记卡
- 提示攻击风险随工具权限放大 理解等级:中级 普通读书笔记卡
- 越狱与注入要按越过的边界理解 理解等级:中级 普通读书笔记卡
- 外部检索资料可能携带指令注入 理解等级:中级 普通读书笔记卡
- 数据提取风险不只来自明确索取 理解等级:中级 普通读书笔记卡
- 逐字复述检测存在覆盖边界 理解等级:中级 普通读书笔记卡
- 安全评估同时测违规与误拒 理解等级:中级 普通读书笔记卡
- 防御指令注入需要多个层次 理解等级:中级 结构图卡
- 生成代码的执行需要隔离边界 理解等级:中级 普通读书笔记卡
- 高影响工具操作需要独立授权 理解等级:中级 普通读书笔记卡
- 输入输出与使用模式共同检测异常 理解等级:中级 普通读书笔记卡
06 RAG与智能体
42 张卡片
- RAG为每个查询构建相关上下文 理解等级:中级 普通读书笔记卡
- 长上下文不会自动消除检索价值 理解等级:中级 普通读书笔记卡
- RAG包含离线索引与在线查询 理解等级:中级 结构图卡
- 词频与稀有度加权 理解等级:中级 普通读书笔记卡
- 倒排索引从词项找到文档 理解等级:中级 普通读书笔记卡
- 词项检索需要处理分词与长度偏差 理解等级:中级 普通读书笔记卡
- 语义检索需要兼容的向量表示 理解等级:中级 普通读书笔记卡
- 近似近邻用精度交换搜索效率 理解等级:中级 普通读书笔记卡
- 向量索引结构决定不同的搜索取舍 理解等级:中级 普通读书笔记卡
- 关键词和语义检索具有互补盲区 理解等级:中级 普通读书笔记卡
- 上下文精度与召回有别 理解等级:中级 普通读书笔记卡
- 近邻相关不保证答对 理解等级:高级 普通读书笔记卡
- 向量检索成本包含更新与索引维护 理解等级:中级 普通读书笔记卡
- 混合检索可串行筛选也可并行融合 理解等级:中级 普通读书笔记卡
- 倒数排名融合异尺度结果 理解等级:中级 普通读书笔记卡
- 切块保留语义与预算 理解等级:中级 普通读书笔记卡
- 块大小权衡语境与粒度 理解等级:高级 普通读书笔记卡
- 重排序只能优化已有候选 理解等级:中级 普通读书笔记卡
- 查询改写需要补齐指代但不能编造 理解等级:中级 普通读书笔记卡
- 为块补充定位语境改善可检索性 理解等级:中级 普通读书笔记卡
- 多模态检索的两条路径 理解等级:中级 普通读书笔记卡
- 表格问答区分执行与生成 理解等级:中级 普通读书笔记卡
- 智能体由环境动作与反馈定义 理解等级:中级 普通读书笔记卡
- 长操作链累积步骤误差 理解等级:高级 普通读书笔记卡
- 工具库更大不代表更易完成任务 理解等级:中级 普通读书笔记卡
- 用确定性工具弥补模型专项弱点 理解等级:中级 普通读书笔记卡
- 规划应考虑动作代价与候选规模 理解等级:中级 普通读书笔记卡
- 计划生成验证与执行应解耦 理解等级:中级 结构图卡
- 计划能力需要状态预测与搜索支持 理解等级:中级 普通读书笔记卡
- 工具调用格式有效不保证参数正确 理解等级:中级 普通读书笔记卡
- 分层规划平衡抽象与执行 理解等级:中级 普通读书笔记卡
- 智能体控制流必须遵守真实依赖 理解等级:中级 普通读书笔记卡
- 行动反馈依赖外部结果 理解等级:中级 普通读书笔记卡
- 工具消融检验实际价值 理解等级:高级 普通读书笔记卡
- 可复用技能应以成功执行证据入库 理解等级:中级 普通读书笔记卡
- 智能体故障要区分规划工具与效率 理解等级:中级 普通读书笔记卡
- 完成判断本身也可能失败 理解等级:中级 普通读书笔记卡
- 工具测试需独立于规划测试 理解等级:中级 普通读书笔记卡
- 记忆的三种存储层次 理解等级:中级 普通读书笔记卡
- 记忆配置要共享上下文总预算 理解等级:中级 普通读书笔记卡
- 先进先出可能丢失约束 理解等级:高级 普通读书笔记卡
- 记忆摘要需要补回遗漏并处理冲突 理解等级:中级 普通读书笔记卡
07 微调
41 张卡片
- 微调通过已有能力提高样本效率 理解等级:中级 普通读书笔记卡
- 预训练与指令训练信号有别 理解等级:中级 普通读书笔记卡
- 微调范围可以是全部或部分参数 理解等级:中级 普通读书笔记卡
- 微调不保证新增知识可靠 理解等级:高级 普通读书笔记卡
- 专项微调要检查其他任务退化 理解等级:中级 普通读书笔记卡
- 微调成本包括持续维护 理解等级:高级 普通读书笔记卡
- 通用模型也可能胜过领域专用模型 理解等级:中级 普通读书笔记卡
- 微调与检索选择先看失效原因 理解等级:中级 普通读书笔记卡
- 模型适配从简单可评估方案递进 理解等级:中级 普通读书笔记卡
- 重复示例比较训练与缓存 理解等级:高级 普通读书笔记卡
- 权重内存按参数字节估算 理解等级:中级 普通读书笔记卡
- 推理与训练的低精度容忍度不同 理解等级:中级 普通读书笔记卡
- 反向传播求梯度优化器决定更新 理解等级:中级 普通读书笔记卡
- 训练显存需要逐类预算 理解等级:中级 普通读书笔记卡
- 激活与缓存无固定比例 理解等级:高级 普通读书笔记卡
- 激活重计算以额外计算换内存 理解等级:中级 普通读书笔记卡
- 浮点数范围与精度是不同资源 理解等级:中级 普通读书笔记卡
- 低精度部署要验证质量和实际速度 理解等级:中级 普通读书笔记卡
- 训练前后量化的区别 理解等级:中级 普通读书笔记卡
- 混合精度保留敏感计算的稳定性 理解等级:中级 普通读书笔记卡
- 高效微调仍需基座权重 理解等级:高级 普通读书笔记卡
- 软提示是可训练连续向量 理解等级:中级 普通读书笔记卡
- 低秩适配学习权重增量 理解等级:中级 结构图卡
- LoRA容量取决于秩和目标矩阵 理解等级:中级 普通读书笔记卡
- LoRA缩放与秩需要联合验证 理解等级:中级 普通读书笔记卡
- 合并与分离适配服务有别 理解等级:中级 普通读书笔记卡
- 多适配器存储预算要重新算数量级 理解等级:中级 普通读书笔记卡
- 量化基座上的低秩适配 理解等级:中级 普通读书笔记卡
- 权重合并与输出集成有别 理解等级:高级 普通读书笔记卡
- 多任务训练要处理共享学习与遗忘 理解等级:中级 普通读书笔记卡
- 参数平均要求表示可比 理解等级:高级 普通读书笔记卡
- 任务向量是微调权重相对基座的差 理解等级:中级 普通读书笔记卡
- 球面插值与直线平均采用不同路径 理解等级:中级 普通读书笔记卡
- 增量剪枝不等于模型稀疏 理解等级:高级 普通读书笔记卡
- 层堆叠后仍需适配 理解等级:中级 普通读书笔记卡
- 适配器拼接扩大容量 理解等级:高级 普通读书笔记卡
- 微调先验证训练链路 理解等级:中级 普通读书笔记卡
- 学习率诊断要结合损失与验证表现 理解等级:中级 普通读书笔记卡
- 梯度累积用多个微批组成一次更新 理解等级:中级 普通读书笔记卡
- 轮数由验证退化约束 理解等级:高级 普通读书笔记卡
- 响应损失权重应匹配实际生成任务 理解等级:中级 普通读书笔记卡
08 数据集工程
33 张卡片
- 数据策展围绕希望模型学到的行为 理解等级:中级 普通读书笔记卡
- 数据质量包含任务适用与一致性 理解等级:中级 普通读书笔记卡
- 工具轨迹依赖真实执行 理解等级:中级 普通读书笔记卡
- 多轮数据教会澄清修正与任务推进 理解等级:中级 普通读书笔记卡
- 覆盖度要沿真实使用维度设计 理解等级:中级 普通读书笔记卡
- 质量与多样性需要同时控制 理解等级:中级 普通读书笔记卡
- 不同训练阶段需要不同数据配比 理解等级:中级 普通读书笔记卡
- 样本量取决于任务与方法 理解等级:高级 普通读书笔记卡
- 小规模微调用于诊断 理解等级:高级 普通读书笔记卡
- 学习曲线估算标注收益 理解等级:高级 普通读书笔记卡
- 数据飞轮需检查选择偏差 理解等级:高级 普通读书笔记卡
- 公开数据也需要来源与质量核验 理解等级:中级 普通读书笔记卡
- 标注指南与评估指南可以共用标准 理解等级:中级 普通读书笔记卡
- 增强变换必须保留目标标签语义 理解等级:中级 普通读书笔记卡
- 合成数据应针对覆盖缺口生成 理解等级:中级 普通读书笔记卡
- 模拟降低试验成本但存在现实差距 理解等级:中级 普通读书笔记卡
- 模拟反馈不是真实执行 理解等级:高级 普通读书笔记卡
- 回译一致不证明正确 理解等级:高级 普通读书笔记卡
- 偏好数据用顺序交换过滤位置偏差 理解等级:中级 普通读书笔记卡
- 反向指令以现有内容构造任务 理解等级:中级 普通读书笔记卡
- 合成代码需要生成验证修正闭环 理解等级:中级 结构图卡
- 合成价值看训练后效果 理解等级:高级 普通读书笔记卡
- 模仿教师风格不等于获得教师能力 理解等级:中级 普通读书笔记卡
- 递归合成训练需要监控尾部覆盖 理解等级:中级 普通读书笔记卡
- 生成数据也有污染风险 理解等级:高级 普通读书笔记卡
- 蒸馏需验证替代效果 理解等级:高级 普通读书笔记卡
- 数据处理保留原始版本 理解等级:中级 普通读书笔记卡
- 数据检查同时看分布与实际样本 理解等级:中级 普通读书笔记卡
- 去重前先定义比较单位和相似标准 理解等级:中级 普通读书笔记卡
- 训练测试隔离要包含重复家族 理解等级:中级 普通读书笔记卡
- 过滤规则应保留任务所需的信息 理解等级:中级 普通读书笔记卡
- 主动选择样本依赖重要性信号 理解等级:中级 普通读书笔记卡
- 微调数据格式与推理输入要一致 理解等级:中级 普通读书笔记卡
09 推理优化
31 张卡片
- 推理先定位资源瓶颈 理解等级:高级 普通读书笔记卡
- 算术强度连接工作负载与硬件瓶颈 理解等级:中级 普通读书笔记卡
- 预填充与解码适合不同优化方向 理解等级:中级 普通读书笔记卡
- 在线与批量服务区别在延迟目标 理解等级:中级 普通读书笔记卡
- 流式输出改变检查时机 理解等级:中级 普通读书笔记卡
- 首字与逐字延迟有别 理解等级:中级 普通读书笔记卡
- 用户首见延迟还包括隐藏工具步骤 理解等级:中级 普通读书笔记卡
- 延迟要看分位数和长度切片 理解等级:中级 普通读书笔记卡
- 吞吐比较先统一计量 理解等级:高级 普通读书笔记卡
- 有效吞吐同时约束速度与服务目标 理解等级:中级 普通读书笔记卡
- 活跃不等于计算高效 理解等级:高级 普通读书笔记卡
- 带宽估算需要声明权重重用假设 理解等级:中级 普通读书笔记卡
- 硬件评估匹配真实负载 理解等级:高级 普通读书笔记卡
- 内存层级优化围绕数据重用 理解等级:中级 普通读书笔记卡
- 非结构化剪枝不保证实际加速 理解等级:中级 普通读书笔记卡
- 推测解码减少串行等待 理解等级:中级 结构图卡
- 参考解码利用输入输出的重复片段 理解等级:中级 普通读书笔记卡
- 并行预测仍需一致性验证 理解等级:高级 普通读书笔记卡
- 键值缓存随会话增长 理解等级:中级 普通读书笔记卡
- 缓存内存按真实头维度计算 理解等级:中级 普通读书笔记卡
- 共享键值与局部窗口的取舍 理解等级:高级 普通读书笔记卡
- 分页管理减少内存碎片 理解等级:中级 普通读书笔记卡
- 内核融合减少数据搬运 理解等级:中级 普通读书笔记卡
- 编译器把模型操作映射到目标实现 理解等级:中级 普通读书笔记卡
- 动态批处理权衡排队 理解等级:高级 普通读书笔记卡
- 连续批处理替换完成请求 理解等级:中级 普通读书笔记卡
- 预填充解码解耦需要核算状态传输 理解等级:中级 普通读书笔记卡
- 前缀复用要求上下文相容 理解等级:高级 普通读书笔记卡
- 副本并行扩并发模型并行分单模型 理解等级:中级 普通读书笔记卡
- 张量并行要用计算收益抵消通信 理解等级:中级 普通读书笔记卡
- 流水线重叠不同模型阶段 理解等级:中级 普通读书笔记卡
10 AI工程架构与用户反馈
29 张卡片
- 架构按问题逐步扩展 理解等级:中级 普通读书笔记卡
- 出站检查包含检索资料 理解等级:中级 普通读书笔记卡
- 输出防护必须同时定义检测和处置 理解等级:中级 普通读书笔记卡
- 重生成不等于安全重执行 理解等级:高级 普通读书笔记卡
- 路由按能力与约束选路径 理解等级:中级 普通读书笔记卡
- 模型网关统一接入也集中故障治理 理解等级:中级 普通读书笔记卡
- 缓存键包含权限与答案条件 理解等级:高级 普通读书笔记卡
- 语义缓存必须验证答案可替代性 理解等级:中级 普通读书笔记卡
- 流程循环需要状态追踪 理解等级:中级 普通读书笔记卡
- 监控指标从故障假设反推 理解等级:中级 普通读书笔记卡
- 可观测性让运行证据支持定位原因 理解等级:中级 普通读书笔记卡
- 恢复指标先统一时间定义 理解等级:中级 普通读书笔记卡
- 技术指标需要与任务价值共同解释 理解等级:中级 普通读书笔记卡
- 请求追踪连接跨组件的运行证据 理解等级:中级 普通读书笔记卡
- 漂移区分输入与系统变更 理解等级:高级 普通读书笔记卡
- 编排要清楚表达控制流 理解等级:中级 普通读书笔记卡
- 用户反馈首先需要明确用途 理解等级:中级 普通读书笔记卡
- 显式反馈存在响应偏差 理解等级:高级 普通读书笔记卡
- 隐式反馈必须放回任务语境 理解等级:中级 普通读书笔记卡
- 用户修正揭示改进线索 理解等级:中级 普通读书笔记卡
- 重新生成不必然表示用户不满意 理解等级:中级 普通读书笔记卡
- 反馈入口应让失败后仍可完成任务 理解等级:中级 普通读书笔记卡
- 只问用户能够判断的问题 理解等级:高级 普通读书笔记卡
- 工作步骤承载采用反馈 理解等级:中级 普通读书笔记卡
- 反馈上下文应单独说明收集范围 理解等级:中级 普通读书笔记卡
- 反馈界面会制造测量误差 理解等级:高级 普通读书笔记卡
- 反馈是否公开会改变用户表达 理解等级:中级 普通读书笔记卡
- 评分中的宽容与位置偏差需要校准 理解等级:高级 普通读书笔记卡
- 反馈训练可能放大曝光偏差和迎合 理解等级:高级 普通读书笔记卡
全书概览
AI工程:大模型应用开发实战
Skill 版本:v24
执行模式:light
建档进度:全文生成完成,已导入并归档;本轮核验见 _workflow.md
四象限评级:经典原理(高信息浓度、高稳定性)
评级理由:全文以评估协议、数据质量、适配机制、推理瓶颈和系统反馈为核心,解释较密集且可跨工具复用。价格、产品接口、具体基准与许可具有时效性,已限制其结论范围。
整书笔记已完成全文讲解、全书主线、跨章联系和实践入口。
章节进度追踪表
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 前置材料 | done | 6 |
| 01 | 基于基础模型构建AI应用入门 | done | 48 |
| 02 | 理解基础模型 | done | 75 |
| 03 | 评估方法论 | done | 39 |
| 04 | 评估AI系统 | done | 41 |
| 05 | 提示工程 | done | 30 |
| 06 | RAG与智能体 | done | 42 |
| 07 | 微调 | done | 41 |
| 08 | 数据集工程 | done | 33 |
| 09 | 推理优化 | done | 31 |
| 10 | AI工程架构与用户反馈 | done | 29 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| titlepage.xhtml | 封面 | 无实质解释 |
| Section003–005 | 机构介绍与赞誉 | 出版背景和推荐语,不作为知识论证 |
| Section020–021 | 作者与封面动物简介 | 已读;作者经历与封面动物介绍,不作为AI工程机制论证 |
| daima.xhtml | 字体授权 | 资源许可证 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 反向传播、梯度下降、交叉熵 | 前言 | 仅列为背景知识,后续正文展开时再处理 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| aie-book | 源码项目 | 前言 | 配套材料,尚未作为实践目标核验 |
| ImageNet Classification with Deep Convolutional Neural Networks | 论文 | 前言 | 引用扩大数据和计算的观点,未实质介绍模型 |
| MEWR | 论文 | 前言 | 写作动机,未展开评估算法 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|
实践候选筛选:done。采用3项现有资料任务/决策计划;提示、检索、数据、优化与训练的重复实现候选合并或不采用,原因是当前缺少必须运行才能回答的具体问题;不为章节凑实践。
第一章取材登记(2026-11-06)
待关联术语补充
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 逻辑回归、协同过滤 | 01 | 仅列ML背景技能,没有展开算法机制 |
| 前馈神经网络、循环神经网络、卷积神经网络、Transformer | 01 | 背景结构名单,后续实际展开时再生成 |
| 梯度下降、损失函数、正则化 | 01 | 仅说明模型学习所需背景,未展开数学机制 |
| 蒸馏、并行化 | 01 | 仅预告后续推理优化技术 |
| MMLU | 01 | 用作说明历史评估协议差异,未展开基准构成 |
引用文献补充
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | 论文 | 01 | 掩码语言模型例子,机制并入对应比较卡 |
| On the Opportunities and Risks of Foundation Models | 论文 | 01 | 基础模型命名背景,未展开全文 |
| CLIP: Connecting text and images | 论文 | 01 | 实质介绍已生成CLIP延伸卡 |
| Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks | 论文 | 01 | 任务图谱并入通用模型卡,不臆造训练细节 |
| GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models | 论文 | 01 | 任务受影响定义已生成延伸卡,不解释为岗位替代 |
| Generative Agents: Interactive Simulacra of Human Behavior | 论文 | 01 | 简述多机器人模拟社会用途,没有展开机制 |
| CoEdIT: Text Editing by Task-Specific Instruction Tuning | 论文 | 01 | 写作工具例子,仅提名 |
| Experimental evidence on the productivity effects of generative artificial intelligence | 论文 | 01 | 写作任务历史实验,结果不外推所有领域 |
| Gemini: A Family of Highly Capable Multimodal Models | 论文 | 01 | 评估协议差异,已回查官方原始报告限定CoT@32解释 |
| Enhancing Chat Language Models by Scaling High-quality Instructional Conversations | 论文 | 01 | 最后一公里进度的论述来源,未展开UltraChat实现 |
| Streamlit、Gradio、Plotly Dash | 框架 | 01 | UI工具举例,无实现介绍 |
| TensorFlow、PyTorch、Hugging Face Transformers | 框架 | 01 | 建模与训练工具举例,无实现介绍 |
| AutoGPT、Stable Diffusion web UI、LangChain、Ollama | 源码项目 | 01 | 历史开源增长图示例,不当作当前排序或选型推荐 |
其他历史市场与产品文章均作为原文案例出处,不展开为独立知识;工具列表中的纯提名不推断内部实现。
第二章取材登记(2026-11-06)
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| min-p | 02 | 只给阈值概述,没有足够信息确定具体相对阈值规则,不照搬简化定义 |
| DPO、RLAIF、PPO | 02 | 提名偏好对齐算法,尚未展开独立算法机制 |
| GELU、RMSNorm | 02 | 激活与归一化结构示例,未展开其计算机制 |
第二章引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Attention Is All You Need | 论文 | 02 | Transformer与注意力机制来源,已保留实际解释 |
| Sequence to Sequence Learning with Neural Networks | 论文 | 02 | seq2seq机制来源,已成卡 |
| Neural Machine Translation by Jointly Learning to Align and Translate | 论文 | 02 | 注意力早于Transformer的历史背景 |
| Llama 2: Open Foundation and Fine-Tuned Chat Models | 论文 | 02 | 维度、训练及偏好例子,不外推当前规格 |
| The Llama 3 Herd of Models | 论文 | 02 | 跨代参数比较背景 |
| RWKV: Reinventing RNNs for the Transformer Era | 论文 | 02 | 实质介绍已生成延伸卡 |
| Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers | 论文 | 02 | SSM长序列路径,已保留 |
| Efficiently Modeling Long Sequences with Structured State Spaces | 论文 | 02 | S4效率方向,简述并入SSM卡 |
| Hungry Hungry Hippos: Towards Language Modeling with State Space Models | 论文 | 02 | H3回忆与token比较机制,简述并入SSM卡 |
| Mamba: Linear-Time Sequence Modeling with Selective State Spaces | 论文 | 02 | 实质介绍已生成延伸卡 |
| Jamba: A Hybrid Transformer-Mamba Language Model | 论文 | 02 | 实质介绍已生成延伸卡 |
| Training Compute-Optimal Large Language Models | 论文 | 02 | Chinchilla假设与训练预算,已成卡 |
| Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws | 论文 | 02 | 将推理需求纳入选型的依据 |
| µTransfer: A technique for hyperparameter tuning of enormous neural networks | 论文 | 02 | 超参数迁移例子,机制并入规模外推卡 |
| Emergent Abilities of Large Language Models | 论文 | 02 | 外推限制的概述,未补造能力出现定律 |
| Training language models to follow instructions with human feedback | 论文 | 02 | SFT、奖励模型和RLHF图示依据 |
| Direct Preference Optimization: Your Language Model is Secretly a Reward Model | 论文 | 02 | 仅提名DPO,本节未展开损失推导 |
| Self-Consistency Improves Chain of Thought Reasoning in Language Models | 论文 | 02 | 多次求解聚合最终答案,已成卡 |
| Shaking the foundations: delusions in sequence models for interaction and control | 论文 | 02 | 幻觉自我扩展假设,保留假设地位 |
| Behavior Cloning is Miscalibrated | 论文 | 02 | 示范与知识不匹配假设,未声称唯一成因 |
| guidance、outlines、instructor、llama.cpp | 框架 | 02 | 结构化输出工具名单,机制并入约束采样卡;不补造当前API |
第3章主线
评估先定位系统失效风险,再选能回答问题的测量。困惑度度量语言预测;功能正确性度量任务结果;相似度度量与参考的一致;AI裁判和成对偏好提供灵活判断,但需要协议、校准与边界。排名不能替代绝对业务指标。
术语线索:BLEU、ROUGE、METEOR++、TER、CIDEr、BERTScore、MoverScore、MTEB、Elo、Bradley-Terry、TrueSkill;原书未在本章展开各算法细节,不据名称补造卡片。
第4章主线
先定义价值与验收条件,再筛掉硬条件不合适的模型。公开基准缩小候选,应用内评估决定是否实用;测量组件与任务,维护评分指南、数据切片和版本,并检查评估本身的可信度与成本。
术语线索:IFEval、InFoBench、RoleLLM、CharacterEval、SAFE、NLI、TruthfulQA、RealToxicityPrompts、BOLD、evaluation harness;方法已展开者关联本章卡,纯基准名称不补造独立知识。
第5章主线
提示工程用输入适配模型,效果需通过稳定评估和版本追踪验证。上下文容量、模板与任务拆分影响表现;上线后将外部内容作为低信任数据,以权限、隔离及输入输出检测约束实际后果。
术语线索:NIAH、RULER、OpenPrompt、DSPy、Promptbreeder、TextGrad、prompt catalog、PAIR、Advbench、PromptRobust;具体库版本与攻击成功率限于原书语境,不视为当前产品行为。
第6章主线
RAG为查询选择信息,智能体利用工具和反馈采取动作。两者都需分别测组件和端到端结果,并维护有限上下文中的关键状态。检索覆盖、规划可执行性、参数业务含义与真实完成证据缺一不可。
术语线索:TF-IDF、BM25、ANN、HNSW、IVF、乘积量化、RRF、BEIR、ReAct、Reflexion、Toolformer、Chameleon、Voyager;方法按原文展开程度成卡,库名只作后续检索线索。
第7章主线
微调改变权重,适用于经评估确认的行为适配需求。训练预算要分清权重、激活、梯度与优化器;PEFT、量化和重计算分别降低不同开销。LoRA与合并提供模块化适配,但效果依赖任务与配置,最终仍需多任务验证与持续维护。
术语线索:PEFT、LoRA、QLoRA、PTQ、QAT、AMP、NF4、SLERP、TIES、DARE、梯度累积;ReLoRA/GaLore等只登记研究线索,不把本章简述当作实现规范。
第8章主线
数据集工程围绕预期行为同时优化质量、覆盖与数量。合成扩大数据来源,也扩大验证与溯源需求;通过独立任务效果检验价值,并在处理时保留原始版本、重复家族边界和部署格式。
术语线索:data-centric AI、data flywheel、back-translation、reverse instruction、model collapse、distillation、active learning、MinHash、Bloom filter;具体库与许可需在使用时查相应版本。
第9章主线
推理优化应先定位计算、容量或带宽瓶颈,再以用户可见延迟、有效吞吐和成本验证。模型、内核和服务调度的取舍不同;缓存与并行都有前提,峰值硬件指标不能替代目标负载测试。
术语线索:roofline、TTFT、TPOT、goodput、MFU、MBU、FlashAttention、PagedAttention、speculative decoding、prefix cache;上下文/序列并行术语仅登记,不据简述补造实现。
全文生成交付(2026-11-06)
前置材料、1–10章、后记及出版附记已读取,415张卡(含13张结构图卡);每卡唯一主要位置和真实出处已保存。轻量模式未执行生成后的内容复核、独立审查及审查结果优化。
| 1 | 本地问答验收集 | 真实任务 | done | 04 | 计划已交付,现实执行未开始 | | 2 | 反馈标注试表 | 真实任务 | done | 10 | 计划已交付,现实执行未开始 | | 3 | 适配方案决策单 | 决策实践 | done | 07 | 计划已交付,现实执行未开始 |
实践计划文件:
- 本地问答验收集
- 反馈标注试表
- 适配方案决策单
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。