来源书籍

深度学习详解

Skill 版本:v24 152 张卡片

王琦、杨毅远、江季 · 人民邮电出版社 · 2024-09-01 · ISBN 9787115642110

章节与卡片

01 机器学习基础

14 张卡片
  1. 机器学习寻找函数 理解等级:初级 普通读书笔记卡
  2. 回归与分类的输出 理解等级:初级 普通读书笔记卡
  3. 结构化学习的输出 理解等级:初级 普通读书笔记卡
  4. 模型与参数特征 理解等级:中级 普通读书笔记卡
  5. 损失衡量参数 理解等级:中级 普通读书笔记卡
  6. 梯度下降更新参数 理解等级:中级 普通读书笔记卡
  7. 学习率是超参数 理解等级:中级 普通读书笔记卡
  8. 线性模型组合特征 理解等级:中级 普通读书笔记卡
  9. 模型偏差限制表达 理解等级:中级 普通读书笔记卡
  10. 组合非线性函数 理解等级:中级 普通读书笔记卡
  11. 批量与训练回合 理解等级:中级 普通读书笔记卡
  12. ReLU激活函数 理解等级:中级 普通读书笔记卡
  13. 深层网络的构造 理解等级:中级 普通读书笔记卡
  14. 训练误差与过拟合 理解等级:中级 普通读书笔记卡

02 实践方法论

5 张卡片
  1. 区分偏差与优化 理解等级:中级 普通读书笔记卡
  2. 数据增强依赖任务 理解等级:中级 普通读书笔记卡
  3. 限制模型应对过拟合 理解等级:中级 普通读书笔记卡
  4. 交叉验证选择模型 理解等级:中级 普通读书笔记卡
  5. 分布不匹配与泛化 理解等级:中级 普通读书笔记卡

03 深度学习基础

15 张卡片
  1. 鞍点与局部最小值 理解等级:中级 普通读书笔记卡
  2. 黑塞矩阵判断临界点 理解等级:高级 普通读书笔记卡
  3. 批量大小的权衡 理解等级:中级 普通读书笔记卡
  4. 动量累积历史梯度 理解等级:中级 普通读书笔记卡
  5. 陡谷中的学习率 理解等级:中级 普通读书笔记卡
  6. 按历史梯度调整步长 理解等级:中级 普通读书笔记卡
  7. RMSProp重视近期梯度 理解等级:中级 普通读书笔记卡
  8. Adam结合动量与缩放 理解等级:中级 普通读书笔记卡
  9. 学习率调度与预热 理解等级:中级 普通读书笔记卡
  10. 独热编码表示类别 理解等级:中级 普通读书笔记卡
  11. Softmax归一化分数 理解等级:中级 普通读书笔记卡
  12. 交叉熵衡量分类预测 理解等级:中级 普通读书笔记卡
  13. 特征标准化与尺度 理解等级:中级 普通读书笔记卡
  14. 批量归一化训练与推断 理解等级:中级 普通读书笔记卡
  15. 批量归一化为何有效 理解等级:中级 普通读书笔记卡

04 卷积神经网络

8 张卡片
  1. 图像的空间与通道 理解等级:中级 普通读书笔记卡
  2. 局部感受野 理解等级:中级 普通读书笔记卡
  3. 卷积步幅与填充 理解等级:中级 普通读书笔记卡
  4. 共享滤波器检测模式 理解等级:中级 普通读书笔记卡
  5. 卷积特征映射与叠层 理解等级:中级 普通读书笔记卡
  6. 汇聚的取舍 理解等级:中级 普通读书笔记卡
  7. 卷积架构依赖任务 理解等级:中级 普通读书笔记卡
  8. 卷积不保证旋转不变 理解等级:中级 普通读书笔记卡

05 循环神经网络

14 张卡片
  1. 词表外词的表示 理解等级:中级 普通读书笔记卡
  2. 循环状态保存上下文 理解等级:中级 普通读书笔记卡
  3. 循环网络的反馈位置 理解等级:中级 普通读书笔记卡
  4. 双向循环网络的上下文 理解等级:中级 普通读书笔记卡
  5. LSTM门控记忆 理解等级:中级 普通读书笔记卡
  6. LSTM门控输入与反馈 理解等级:中级 普通读书笔记卡
  7. 随时间反向传播 理解等级:中级 普通读书笔记卡
  8. 循环梯度的消失与爆炸 理解等级:中级 普通读书笔记卡
  9. 梯度裁剪限制更新 理解等级:中级 普通读书笔记卡
  10. 门控缓解长期梯度问题 理解等级:中级 普通读书笔记卡
  11. 序列任务的输入输出 理解等级:中级 普通读书笔记卡
  12. CTC处理未知对齐 理解等级:中级 普通读书笔记卡
  13. 序列到序列生成 理解等级:中级 普通读书笔记卡
  14. 词袋丢失顺序 理解等级:中级 普通读书笔记卡

06 自注意力机制

8 张卡片
  1. 词嵌入表示语义 理解等级:初级 普通读书笔记卡
  2. 自注意力查询键值 理解等级:中级 普通读书笔记卡
  3. 多头注意力并行视角 理解等级:中级 普通读书笔记卡
  4. 位置编码补充顺序 理解等级:中级 普通读书笔记卡
  5. 局部注意力限制范围 理解等级:中级 普通读书笔记卡
  6. 注意力与卷积的取舍 理解等级:中级 普通读书笔记卡
  7. 注意力与循环的依赖 理解等级:中级 普通读书笔记卡
  8. 图结构约束注意力 理解等级:中级 普通读书笔记卡

07 Transformer

17 张卡片
  1. 任务转成问答序列 理解等级:中级 普通读书笔记卡
  2. 树结构序列化 理解等级:中级 普通读书笔记卡
  3. 多分类与多标签 理解等级:中级 普通读书笔记卡
  4. 编码器与解码器分工 理解等级:中级 普通读书笔记卡
  5. Transformer编码器块 理解等级:中级 普通读书笔记卡
  6. 层归一化与批量归一化 理解等级:中级 普通读书笔记卡
  7. 自回归解码与终止 理解等级:中级 普通读书笔记卡
  8. 因果掩码防止看未来 理解等级:中级 普通读书笔记卡
  9. 非自回归解码的取舍 理解等级:中级 普通读书笔记卡
  10. 编码器解码器注意力 理解等级:中级 普通读书笔记卡
  11. 教师强制训练解码器 理解等级:中级 普通读书笔记卡
  12. 复制机制利用输入 理解等级:中级 普通读书笔记卡
  13. 引导注意力利用对齐 理解等级:中级 普通读书笔记卡
  14. 贪心与束搜索 理解等级:中级 普通读书笔记卡
  15. 生成时随机性与任务 理解等级:中级 普通读书笔记卡
  16. 序列指标与训练目标 理解等级:中级 普通读书笔记卡
  17. 计划采样与曝光偏置 理解等级:中级 普通读书笔记卡

08 生成模型

12 张卡片
  1. 生成器表达多种可能 理解等级:中级 普通读书笔记卡
  2. 生成对抗网络的分工 理解等级:中级 普通读书笔记卡
  3. 潜在向量插值 理解等级:中级 普通读书笔记卡
  4. 判别器估计分布差异 理解等级:高级 普通读书笔记卡
  5. Wasserstein距离与分布支撑 理解等级:中级 普通读书笔记卡
  6. WGAN的判别函数约束 理解等级:中级 普通读书笔记卡
  7. WGAN梯度惩罚的作用与边界 理解等级:中级 普通读书笔记卡
  8. 离散词元阻断直接反向传播 理解等级:中级 普通读书笔记卡
  9. 生成模型的模式崩塌 理解等级:中级 普通读书笔记卡
  10. Inception分数与FID的局限 理解等级:中级 普通读书笔记卡
  11. 条件GAN需要检查条件匹配 理解等级:中级 普通读书笔记卡
  12. 循环一致性不能确定期望映射 理解等级:中级 普通读书笔记卡

09 扩散模型

3 张卡片
  1. 扩散模型从噪声逐步生成 理解等级:中级 普通读书笔记卡
  2. 扩散模型的自监督噪声预测 理解等级:中级 普通读书笔记卡
  3. 文本条件扩散生成 理解等级:中级 普通读书笔记卡

10 自监督学习

9 张卡片
  1. 自监督从数据构造目标 理解等级:中级 普通读书笔记卡
  2. BERT掩码语言模型 理解等级:中级 普通读书笔记卡
  3. 预训练权重用于下游微调 理解等级:中级 普通读书笔记卡
  4. 抽取式问答预测答案边界 理解等级:中级 普通读书笔记卡
  5. 序列到序列去噪预训练 理解等级:中级 普通读书笔记卡
  6. 语境化表示随上下文变化 理解等级:中级 普通读书笔记卡
  7. 多语言预训练与跨语言迁移 理解等级:中级 普通读书笔记卡
  8. 因果语言模型预测下一词元 理解等级:中级 普通读书笔记卡
  9. 上下文学习不更新模型参数 理解等级:中级 普通读书笔记卡

11 自编码器

6 张卡片
  1. 自编码器通过重建学习表示 理解等级:中级 普通读书笔记卡
  2. 去噪自编码器重建干净输入 理解等级:中级 普通读书笔记卡
  3. 特征解耦需要额外约束 理解等级:中级 普通读书笔记卡
  4. 向量量化将隐表示映射到码本 理解等级:中级 普通读书笔记卡
  5. 重建目标不足以保证摘要可读 理解等级:中级 普通读书笔记卡
  6. 压缩隐向量并不自动得到生成模型 理解等级:中级 普通读书笔记卡

12 对抗攻击

7 张卡片
  1. 对抗样本的目标与扰动约束 理解等级:中级 普通读书笔记卡
  2. 梯度符号法与投影约束 理解等级:中级 普通读书笔记卡
  3. 黑箱攻击与迁移性 理解等级:中级 普通读书笔记卡
  4. 物理攻击需要跨条件测试 理解等级:中级 普通读书笔记卡
  5. 训练投毒与测试时对抗扰动 理解等级:中级 普通读书笔记卡
  6. 预处理防御须评估自适应攻击 理解等级:中级 普通读书笔记卡
  7. 对抗训练的适用边界 理解等级:中级 普通读书笔记卡

13 迁移学习

4 张卡片
  1. 领域偏移影响部署表现 理解等级:中级 普通读书笔记卡
  2. 领域对抗训练同时保留任务信息 理解等级:中级 普通读书笔记卡
  3. 领域对齐须考虑类别集合 理解等级:中级 普通读书笔记卡
  4. 领域自适应与领域泛化的区别 理解等级:中级 普通读书笔记卡

14 强化学习

8 张卡片
  1. 强化学习以交互回报评价策略 理解等级:中级 普通读书笔记卡
  2. 策略梯度用回报加权动作概率 理解等级:中级 普通读书笔记卡
  3. 即时奖励不能充分评价长期动作 理解等级:中级 普通读书笔记卡
  4. 折扣回报权衡近期与远期奖励 理解等级:中级 普通读书笔记卡
  5. 策略梯度基线降低估计方差 理解等级:中级 普通读书笔记卡
  6. 同策略与异策略经验复用 理解等级:中级 普通读书笔记卡
  7. 蒙特卡洛与时序差分估计价值 理解等级:中级 普通读书笔记卡
  8. 优势Actor-Critic比较动作与状态基线 理解等级:中级 普通读书笔记卡

15 元学习

4 张卡片
  1. 元学习跨任务优化适应能力 理解等级:中级 普通读书笔记卡
  2. 元学习需要任务级测试隔离 理解等级:中级 普通读书笔记卡
  3. MAML学习便于快速适应的初始化 理解等级:中级 普通读书笔记卡
  4. 少样本任务用类别数和样本数描述 理解等级:中级 普通读书笔记卡

16 终身学习

4 张卡片
  1. 连续学习中的灾难性遗忘 理解等级:中级 普通读书笔记卡
  2. 连续学习要记录任务性能矩阵 理解等级:中级 普通读书笔记卡
  3. 重要参数正则化平衡新旧任务 理解等级:中级 普通读书笔记卡
  4. GEM利用旧样本约束更新方向 理解等级:中级 普通读书笔记卡

17 网络压缩

5 张卡片
  1. 稀疏剪枝不保证实际加速 理解等级:中级 普通读书笔记卡
  2. 知识蒸馏使用教师的软目标 理解等级:中级 普通读书笔记卡
  3. 量化用精度换取存储和计算效率 理解等级:中级 普通读书笔记卡
  4. 深度可分离卷积分解空间与通道计算 理解等级:中级 普通读书笔记卡
  5. 动态推理按资源或输入调整计算 理解等级:中级 普通读书笔记卡

18 可解释性机器学习

5 张卡片
  1. 局部解释与全局解释回答不同问题 理解等级:中级 普通读书笔记卡
  2. 显著图反映局部敏感度而非完整原因 理解等级:中级 普通读书笔记卡
  3. SmoothGrad平均多次带噪梯度 理解等级:中级 普通读书笔记卡
  4. 探针表现反映信息可提取性 理解等级:中级 普通读书笔记卡
  5. 代理模型的解释受拟合范围限制 理解等级:中级 普通读书笔记卡

19 ChatGPT

4 张卡片
  1. 语言模型训练与推理是不同阶段 理解等级:中级 普通读书笔记卡
  2. 语言模型的预训练与对齐分工 理解等级:中级 普通读书笔记卡
  3. 生成流畅不等于事实可靠 理解等级:中级 普通读书笔记卡
  4. 模型编辑和遗忘需要验证副作用 理解等级:中级 普通读书笔记卡

全书概览

《深度学习详解》概览

Skill 版本:book-notes v24 执行模式:light 建档进度:done 评级:高信息浓度、高稳定性(经典原理);抽样显示卷积网络从局部感受野与参数共享解释架构取舍,前言指出以直观解释与公式推导为主;第 19 章具体产品事实具有时效性,不能代表全部内容。 整书笔记:_book_note.md(正文及综合已撰写)

章节进度追踪表

章节号 章节标题 状态 卡片数
前言 前言 done 0
01 机器学习基础 done 14
02 实践方法论 done 5
03 深度学习基础 done 15
04 卷积神经网络 done 8
05 循环神经网络 done 14
06 自注意力机制 done 8
07 Transformer done 17
08 生成模型 done 12
09 扩散模型 done 3
10 自监督学习 done 9
11 自编码器 done 6
12 对抗攻击 done 7
13 迁移学习 done 4
14 强化学习 done 8
15 元学习 done 4
16 终身学习 done 4
17 网络压缩 done 5
18 可解释性机器学习 done 5
19 ChatGPT done 4

非正文排除

spine项 类型 排除理由
1 Text/cover.xhtml 封面 仅封面图片
2 Text/copyright.xhtml 版权页 出版信息已记录,无正文论述
3 Text/qy02.xhtml 内容提要 全书内容简介,与正文重复
4 Text/qy03.xhtml 致谢 鸣谢及签名,不含知识论述
6 Text/qy05.xhtml 资源与支持 配套资源获取与反馈方式
7 Text/qy06.xhtml 符号表 符号速查,作为阅读参考
27 Text/sy.xhtml 索引 术语及页码索引

待关联术语

术语名 出现章节 一句话语境
StarGAN 08 多域图像转换
Progressive GAN 08 提及高清人脸生成技术
BigGAN 08 提及生成不合理图像的案例
指针网络 07 提及支持从输入中选取的架构
复制网络 07 提及指针网络的复制变体
层归一化 03、07 第 3 章提名,第 7 章已成卡
RNN-Transducer 07 提及为语音设计的模型
Conformer 06 注意力与卷积结合或高效注意力变体
Linformer 06 注意力与卷积结合或高效注意力变体
Performer 06 注意力与卷积结合或高效注意力变体
Reformer 06 注意力与卷积结合或高效注意力变体
Self-Matching 06 提及自注意力相关早期架构
Clockwork RNN 05 提及缓解长程梯度问题的循环结构
SCRN 05 提及结构约束循环网络
Special Transformer Layer 04 提及可处理图像尺度和旋转,未展开
批量重归一化 03 批量归一化之外提及的归一化方法
实例归一化 03 批量归一化之外提及的归一化方法
组归一化 03 批量归一化之外提及的归一化方法
权重归一化 03 批量归一化之外提及的归一化方法
谱归一化 03 批量归一化之外提及的归一化方法

引用文献

标题 类型 出现章节 一句话语境
Wasserstein GAN 论文 08 本章参考文献
Improved Training of Wasserstein GANs 论文 08 本章参考文献
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 论文 08 本章参考文献
Progressive Growing of GANs for Improved Quality, Stability, and Variation 论文 08 本章参考文献
Are GANs Created Equal? A Large-Scale Study 论文 08 本章参考文献
Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks 论文 08 本章参考文献
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation 论文 08 本章参考文献
RoBERTa: A Robustly Optimized BERT Pretraining Approach 论文 10 本章参考文献
Pretrained Language Model Embryology: The Birth of ALBERT 论文 10 本章参考文献
MASS: Masked Sequence to Sequence Pre-training for Language Generation 论文 10 本章参考文献
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 论文 10 本章参考文献
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 论文 10 本章参考文献
Is BERT a Cross-Disciplinary Knowledge Learner? 论文 10 本章参考文献
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model 论文 10 本章参考文献
What Makes Multilingual BERT Multilingual? 论文 10 本章参考文献
Gradient-Based Learning Applied to Document Recognition 论文 13 本章参考文献
An Ensemble of Simple Convolutional Neural Network Models for MNIST Digit Recognition 论文 13 本章参考文献
Domain-Adversarial Training of Neural Networks 论文 13 本章参考文献
Unsupervised Domain Adaptation by Backpropagation 论文 13 本章参考文献
A DIRT-T Approach to Unsupervised Domain Adaptation 论文 13 本章参考文献
Maximum Classifier Discrepancy for Unsupervised Domain Adaptation 论文 13 本章参考文献
Universal Domain Adaptation 论文 13 本章参考文献
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts 论文 13 本章参考文献
Domain Generalization with Adversarial Feature Learning 论文 13 本章参考文献
Learning to Learn Single Domain Generalization 论文 13 本章参考文献
Reinforcement Learning: An Introduction 书籍 14 本章参考资料
Rainbow: Combining Improvements in Deep Reinforcement Learning 论文 14 本章参考资料
Easy RL:强化学习教程 书籍 14 本章参考资料
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks 论文 15 本章参考文献
On First-Order Meta-Learning Algorithms 论文 15 本章参考文献
Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML 论文 15 本章参考文献
Learning to Learn by Gradient Descent by Gradient Descent 论文 15 本章参考文献
Optimal Brain Damage 论文 17 本章参考文献
Learning Structured Sparsity in Deep Neural Networks 论文 17 本章参考文献
Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask 论文 17 本章参考文献
Rethinking the Value of Network Pruning 论文 17 本章参考文献
Distilling the Knowledge in a Neural Network 论文 17 本章参考文献
Do Deep Nets Really Need to be Deep? 论文 17 本章参考文献
BinaryConnect: Training Deep Neural Networks with Binary Weights during Propagations 论文 17 本章参考文献
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or −1 论文 17 本章参考文献
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 论文 17 本章参考文献
Multi-Scale Dense Networks for Resource Efficient Image Classification 论文 17 本章参考文献
Slimmable Neural Networks 论文 17 本章参考文献
SkipNet: Learning Dynamic Routing in Convolutional Networks 论文 17 本章参考文献
Runtime Neural Pruning 论文 17 本章参考文献
BlockDrop: Dynamic Inference Paths in Residual Networks 论文 17 本章参考文献
SmoothGrad: Removing Noise by Adding Noise 论文 18 本章参考文献
Why Should I Trust You? Explaining the Predictions of Any Classifier 论文 18 本章参考文献
Large Scale GAN Training for High Fidelity Natural Image Synthesis 论文 08 BigGAN 生成案例
The Curious Case of Neural Text Degeneration 论文 07 生成解码、序列奖励或计划采样
Sequence Level Training with Recurrent Neural Networks 论文 07 生成解码、序列奖励或计划采样
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks 论文 07 生成解码、序列奖励或计划采样
Scheduled Sampling for Transformers 论文 07 生成解码、序列奖励或计划采样
Parallel Scheduled Sampling 论文 07 生成解码、序列奖励或计划采样
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding 论文 07 编码器各层信息用于解码的变体
Sequence to Sequence Learning with Neural Networks 论文 07 序列建模或 Transformer 归一化
On Layer Normalization in the Transformer Architecture 论文 07 序列建模或 Transformer 归一化
PowerNorm: Rethinking Batch Normalization in Transformers 论文 07 序列建模或 Transformer 归一化
Grammar as a Foreign Language 论文 07 将句法分析转换为序列生成
Self-Attention Generative Adversarial Networks 论文 06 自注意力图像应用、结构比较或效率
End-to-End Object Detection with Transformers 论文 06、07 自注意力图像应用、结构比较或效率
Imaging Applications of Charge Coupled Devices (CCDs) for Cherenkov Telescope 论文 06 自注意力图像应用、结构比较或效率
On the Relationship between Self-Attention and Convolutional Layers 论文 06 自注意力图像应用、结构比较或效率
An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale 论文 06 自注意力图像应用、结构比较或效率
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention 论文 06 自注意力图像应用、结构比较或效率
Long Range Arena: A Benchmark for Efficient Transformers 论文 06 自注意力图像应用、结构比较或效率
Linformer: Self-Attention with Linear Complexity 论文 06 自注意力图像应用、结构比较或效率
Rethinking Attention with Performers 论文 06 自注意力图像应用、结构比较或效率
Reformer: The Efficient Transformer 论文 06 自注意力图像应用、结构比较或效率
Efficient Transformers: A Survey 论文 06 自注意力图像应用、结构比较或效率
Learning to Encode Position for Transformer with Continuous Dynamical Model 论文 06 位置编码方法的比较与扩展
Attention Is All You Need 论文 06 Transformer 与自注意力架构
A Clockwork RNN 论文 05 循环网络结构或初始化方法
Learning Longer Memory in Recurrent Neural Networks 论文 05 循环网络结构或初始化方法
A Simple Way to Initialize Recurrent Networks of Rectified Linear Units 论文 05 循环网络结构或初始化方法
Mastering the Game of Go with Deep Neural Networks and Tree Search 论文 04 卷积网络在棋盘、语音或文本上的应用
Convolutional Neural Networks for Speech Recognition 论文 04 卷积网络在棋盘、语音或文本上的应用
UNITN: Training Deep Convolutional Neural Network for Twitter Sentiment Classification 论文 04 卷积网络在棋盘、语音或文本上的应用
Deep Residual Learning for Image Recognition 论文 02、03 以深浅网络训练误差比较说明优化问题
Adam: A Method for Stochastic Optimization 论文 03 自适应动量优化器
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文 03 归一化方法及其优化解释
How Does Batch Normalization Help Optimization? 论文 03 归一化方法及其优化解释
Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models 论文 03 归一化方法及其优化解释
Layer Normalization 论文 03 归一化方法及其优化解释
Instance Normalization: The Missing Ingredient for Fast Stylization 论文 03 归一化方法及其优化解释
Group Normalization 论文 03 归一化方法及其优化解释
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks 论文 03 归一化方法及其优化解释
Spectral Norm Regularization for Improving the Generalizability of Deep Learning 论文 03 归一化方法及其优化解释
On the Variance of the Adaptive Learning Rate and Beyond 论文 03 预热和自适应学习率进一步阅读
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima 论文 03 批量大小、泛化或大批量训练的研究
Stochastic Weight Averaging in Parallel: Large-Batch Training That Generalizes Well 论文 03 批量大小、泛化或大批量训练的研究
Large Batch Training of Convolutional Networks 论文 03 批量大小、泛化或大批量训练的研究
Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes 论文 03 批量大小、泛化或大批量训练的研究
Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes 论文 03 批量大小、泛化或大批量训练的研究
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour 论文 03 批量大小、泛化或大批量训练的研究

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 读懂剪枝实现 实现深读 done 17 计划,官方源码及测试入口已核验
2 追踪多头注意力 实现深读 done 06–07 计划,官方源码及测试入口已核验

实践候选筛选:done

未采用候选:生成模型评估与对抗防御需要明确数据集和威胁场景,暂不虚构实验对象;元学习与持续学习的源码研究与上述计划成本相近,本轮优先选书中展开较多且有具体官方入口的注意力和剪枝。实践均为计划,未执行实验。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。