来源书籍
深度学习详解
章节与卡片
01 机器学习基础
14 张卡片
- 机器学习寻找函数 理解等级:初级 普通读书笔记卡
- 回归与分类的输出 理解等级:初级 普通读书笔记卡
- 结构化学习的输出 理解等级:初级 普通读书笔记卡
- 模型与参数特征 理解等级:中级 普通读书笔记卡
- 损失衡量参数 理解等级:中级 普通读书笔记卡
- 梯度下降更新参数 理解等级:中级 普通读书笔记卡
- 学习率是超参数 理解等级:中级 普通读书笔记卡
- 线性模型组合特征 理解等级:中级 普通读书笔记卡
- 模型偏差限制表达 理解等级:中级 普通读书笔记卡
- 组合非线性函数 理解等级:中级 普通读书笔记卡
- 批量与训练回合 理解等级:中级 普通读书笔记卡
- ReLU激活函数 理解等级:中级 普通读书笔记卡
- 深层网络的构造 理解等级:中级 普通读书笔记卡
- 训练误差与过拟合 理解等级:中级 普通读书笔记卡
02 实践方法论
5 张卡片
03 深度学习基础
15 张卡片
- 鞍点与局部最小值 理解等级:中级 普通读书笔记卡
- 黑塞矩阵判断临界点 理解等级:高级 普通读书笔记卡
- 批量大小的权衡 理解等级:中级 普通读书笔记卡
- 动量累积历史梯度 理解等级:中级 普通读书笔记卡
- 陡谷中的学习率 理解等级:中级 普通读书笔记卡
- 按历史梯度调整步长 理解等级:中级 普通读书笔记卡
- RMSProp重视近期梯度 理解等级:中级 普通读书笔记卡
- Adam结合动量与缩放 理解等级:中级 普通读书笔记卡
- 学习率调度与预热 理解等级:中级 普通读书笔记卡
- 独热编码表示类别 理解等级:中级 普通读书笔记卡
- Softmax归一化分数 理解等级:中级 普通读书笔记卡
- 交叉熵衡量分类预测 理解等级:中级 普通读书笔记卡
- 特征标准化与尺度 理解等级:中级 普通读书笔记卡
- 批量归一化训练与推断 理解等级:中级 普通读书笔记卡
- 批量归一化为何有效 理解等级:中级 普通读书笔记卡
04 卷积神经网络
8 张卡片
05 循环神经网络
14 张卡片
- 词表外词的表示 理解等级:中级 普通读书笔记卡
- 循环状态保存上下文 理解等级:中级 普通读书笔记卡
- 循环网络的反馈位置 理解等级:中级 普通读书笔记卡
- 双向循环网络的上下文 理解等级:中级 普通读书笔记卡
- LSTM门控记忆 理解等级:中级 普通读书笔记卡
- LSTM门控输入与反馈 理解等级:中级 普通读书笔记卡
- 随时间反向传播 理解等级:中级 普通读书笔记卡
- 循环梯度的消失与爆炸 理解等级:中级 普通读书笔记卡
- 梯度裁剪限制更新 理解等级:中级 普通读书笔记卡
- 门控缓解长期梯度问题 理解等级:中级 普通读书笔记卡
- 序列任务的输入输出 理解等级:中级 普通读书笔记卡
- CTC处理未知对齐 理解等级:中级 普通读书笔记卡
- 序列到序列生成 理解等级:中级 普通读书笔记卡
- 词袋丢失顺序 理解等级:中级 普通读书笔记卡
06 自注意力机制
8 张卡片
07 Transformer
17 张卡片
- 任务转成问答序列 理解等级:中级 普通读书笔记卡
- 树结构序列化 理解等级:中级 普通读书笔记卡
- 多分类与多标签 理解等级:中级 普通读书笔记卡
- 编码器与解码器分工 理解等级:中级 普通读书笔记卡
- Transformer编码器块 理解等级:中级 普通读书笔记卡
- 层归一化与批量归一化 理解等级:中级 普通读书笔记卡
- 自回归解码与终止 理解等级:中级 普通读书笔记卡
- 因果掩码防止看未来 理解等级:中级 普通读书笔记卡
- 非自回归解码的取舍 理解等级:中级 普通读书笔记卡
- 编码器解码器注意力 理解等级:中级 普通读书笔记卡
- 教师强制训练解码器 理解等级:中级 普通读书笔记卡
- 复制机制利用输入 理解等级:中级 普通读书笔记卡
- 引导注意力利用对齐 理解等级:中级 普通读书笔记卡
- 贪心与束搜索 理解等级:中级 普通读书笔记卡
- 生成时随机性与任务 理解等级:中级 普通读书笔记卡
- 序列指标与训练目标 理解等级:中级 普通读书笔记卡
- 计划采样与曝光偏置 理解等级:中级 普通读书笔记卡
08 生成模型
12 张卡片
- 生成器表达多种可能 理解等级:中级 普通读书笔记卡
- 生成对抗网络的分工 理解等级:中级 普通读书笔记卡
- 潜在向量插值 理解等级:中级 普通读书笔记卡
- 判别器估计分布差异 理解等级:高级 普通读书笔记卡
- Wasserstein距离与分布支撑 理解等级:中级 普通读书笔记卡
- WGAN的判别函数约束 理解等级:中级 普通读书笔记卡
- WGAN梯度惩罚的作用与边界 理解等级:中级 普通读书笔记卡
- 离散词元阻断直接反向传播 理解等级:中级 普通读书笔记卡
- 生成模型的模式崩塌 理解等级:中级 普通读书笔记卡
- Inception分数与FID的局限 理解等级:中级 普通读书笔记卡
- 条件GAN需要检查条件匹配 理解等级:中级 普通读书笔记卡
- 循环一致性不能确定期望映射 理解等级:中级 普通读书笔记卡
09 扩散模型
3 张卡片
- 扩散模型从噪声逐步生成 理解等级:中级 普通读书笔记卡
- 扩散模型的自监督噪声预测 理解等级:中级 普通读书笔记卡
- 文本条件扩散生成 理解等级:中级 普通读书笔记卡
10 自监督学习
9 张卡片
- 自监督从数据构造目标 理解等级:中级 普通读书笔记卡
- BERT掩码语言模型 理解等级:中级 普通读书笔记卡
- 预训练权重用于下游微调 理解等级:中级 普通读书笔记卡
- 抽取式问答预测答案边界 理解等级:中级 普通读书笔记卡
- 序列到序列去噪预训练 理解等级:中级 普通读书笔记卡
- 语境化表示随上下文变化 理解等级:中级 普通读书笔记卡
- 多语言预训练与跨语言迁移 理解等级:中级 普通读书笔记卡
- 因果语言模型预测下一词元 理解等级:中级 普通读书笔记卡
- 上下文学习不更新模型参数 理解等级:中级 普通读书笔记卡
11 自编码器
6 张卡片
- 自编码器通过重建学习表示 理解等级:中级 普通读书笔记卡
- 去噪自编码器重建干净输入 理解等级:中级 普通读书笔记卡
- 特征解耦需要额外约束 理解等级:中级 普通读书笔记卡
- 向量量化将隐表示映射到码本 理解等级:中级 普通读书笔记卡
- 重建目标不足以保证摘要可读 理解等级:中级 普通读书笔记卡
- 压缩隐向量并不自动得到生成模型 理解等级:中级 普通读书笔记卡
12 对抗攻击
7 张卡片
- 对抗样本的目标与扰动约束 理解等级:中级 普通读书笔记卡
- 梯度符号法与投影约束 理解等级:中级 普通读书笔记卡
- 黑箱攻击与迁移性 理解等级:中级 普通读书笔记卡
- 物理攻击需要跨条件测试 理解等级:中级 普通读书笔记卡
- 训练投毒与测试时对抗扰动 理解等级:中级 普通读书笔记卡
- 预处理防御须评估自适应攻击 理解等级:中级 普通读书笔记卡
- 对抗训练的适用边界 理解等级:中级 普通读书笔记卡
13 迁移学习
4 张卡片
- 领域偏移影响部署表现 理解等级:中级 普通读书笔记卡
- 领域对抗训练同时保留任务信息 理解等级:中级 普通读书笔记卡
- 领域对齐须考虑类别集合 理解等级:中级 普通读书笔记卡
- 领域自适应与领域泛化的区别 理解等级:中级 普通读书笔记卡
14 强化学习
8 张卡片
- 强化学习以交互回报评价策略 理解等级:中级 普通读书笔记卡
- 策略梯度用回报加权动作概率 理解等级:中级 普通读书笔记卡
- 即时奖励不能充分评价长期动作 理解等级:中级 普通读书笔记卡
- 折扣回报权衡近期与远期奖励 理解等级:中级 普通读书笔记卡
- 策略梯度基线降低估计方差 理解等级:中级 普通读书笔记卡
- 同策略与异策略经验复用 理解等级:中级 普通读书笔记卡
- 蒙特卡洛与时序差分估计价值 理解等级:中级 普通读书笔记卡
- 优势Actor-Critic比较动作与状态基线 理解等级:中级 普通读书笔记卡
15 元学习
4 张卡片
- 元学习跨任务优化适应能力 理解等级:中级 普通读书笔记卡
- 元学习需要任务级测试隔离 理解等级:中级 普通读书笔记卡
- MAML学习便于快速适应的初始化 理解等级:中级 普通读书笔记卡
- 少样本任务用类别数和样本数描述 理解等级:中级 普通读书笔记卡
16 终身学习
4 张卡片
- 连续学习中的灾难性遗忘 理解等级:中级 普通读书笔记卡
- 连续学习要记录任务性能矩阵 理解等级:中级 普通读书笔记卡
- 重要参数正则化平衡新旧任务 理解等级:中级 普通读书笔记卡
- GEM利用旧样本约束更新方向 理解等级:中级 普通读书笔记卡
17 网络压缩
5 张卡片
- 稀疏剪枝不保证实际加速 理解等级:中级 普通读书笔记卡
- 知识蒸馏使用教师的软目标 理解等级:中级 普通读书笔记卡
- 量化用精度换取存储和计算效率 理解等级:中级 普通读书笔记卡
- 深度可分离卷积分解空间与通道计算 理解等级:中级 普通读书笔记卡
- 动态推理按资源或输入调整计算 理解等级:中级 普通读书笔记卡
18 可解释性机器学习
5 张卡片
- 局部解释与全局解释回答不同问题 理解等级:中级 普通读书笔记卡
- 显著图反映局部敏感度而非完整原因 理解等级:中级 普通读书笔记卡
- SmoothGrad平均多次带噪梯度 理解等级:中级 普通读书笔记卡
- 探针表现反映信息可提取性 理解等级:中级 普通读书笔记卡
- 代理模型的解释受拟合范围限制 理解等级:中级 普通读书笔记卡
19 ChatGPT
4 张卡片
- 语言模型训练与推理是不同阶段 理解等级:中级 普通读书笔记卡
- 语言模型的预训练与对齐分工 理解等级:中级 普通读书笔记卡
- 生成流畅不等于事实可靠 理解等级:中级 普通读书笔记卡
- 模型编辑和遗忘需要验证副作用 理解等级:中级 普通读书笔记卡
全书概览
《深度学习详解》概览
Skill 版本:book-notes v24 执行模式:light 建档进度:done 评级:高信息浓度、高稳定性(经典原理);抽样显示卷积网络从局部感受野与参数共享解释架构取舍,前言指出以直观解释与公式推导为主;第 19 章具体产品事实具有时效性,不能代表全部内容。 整书笔记:_book_note.md(正文及综合已撰写)
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 前言 | 前言 | done | 0 |
| 01 | 机器学习基础 | done | 14 |
| 02 | 实践方法论 | done | 5 |
| 03 | 深度学习基础 | done | 15 |
| 04 | 卷积神经网络 | done | 8 |
| 05 | 循环神经网络 | done | 14 |
| 06 | 自注意力机制 | done | 8 |
| 07 | Transformer | done | 17 |
| 08 | 生成模型 | done | 12 |
| 09 | 扩散模型 | done | 3 |
| 10 | 自监督学习 | done | 9 |
| 11 | 自编码器 | done | 6 |
| 12 | 对抗攻击 | done | 7 |
| 13 | 迁移学习 | done | 4 |
| 14 | 强化学习 | done | 8 |
| 15 | 元学习 | done | 4 |
| 16 | 终身学习 | done | 4 |
| 17 | 网络压缩 | done | 5 |
| 18 | 可解释性机器学习 | done | 5 |
| 19 | ChatGPT | done | 4 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 1 Text/cover.xhtml | 封面 | 仅封面图片 |
| 2 Text/copyright.xhtml | 版权页 | 出版信息已记录,无正文论述 |
| 3 Text/qy02.xhtml | 内容提要 | 全书内容简介,与正文重复 |
| 4 Text/qy03.xhtml | 致谢 | 鸣谢及签名,不含知识论述 |
| 6 Text/qy05.xhtml | 资源与支持 | 配套资源获取与反馈方式 |
| 7 Text/qy06.xhtml | 符号表 | 符号速查,作为阅读参考 |
| 27 Text/sy.xhtml | 索引 | 术语及页码索引 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| StarGAN | 08 | 多域图像转换 |
| Progressive GAN | 08 | 提及高清人脸生成技术 |
| BigGAN | 08 | 提及生成不合理图像的案例 |
| 指针网络 | 07 | 提及支持从输入中选取的架构 |
| 复制网络 | 07 | 提及指针网络的复制变体 |
| 层归一化 | 03、07 | 第 3 章提名,第 7 章已成卡 |
| RNN-Transducer | 07 | 提及为语音设计的模型 |
| Conformer | 06 | 注意力与卷积结合或高效注意力变体 |
| Linformer | 06 | 注意力与卷积结合或高效注意力变体 |
| Performer | 06 | 注意力与卷积结合或高效注意力变体 |
| Reformer | 06 | 注意力与卷积结合或高效注意力变体 |
| Self-Matching | 06 | 提及自注意力相关早期架构 |
| Clockwork RNN | 05 | 提及缓解长程梯度问题的循环结构 |
| SCRN | 05 | 提及结构约束循环网络 |
| Special Transformer Layer | 04 | 提及可处理图像尺度和旋转,未展开 |
| 批量重归一化 | 03 | 批量归一化之外提及的归一化方法 |
| 实例归一化 | 03 | 批量归一化之外提及的归一化方法 |
| 组归一化 | 03 | 批量归一化之外提及的归一化方法 |
| 权重归一化 | 03 | 批量归一化之外提及的归一化方法 |
| 谱归一化 | 03 | 批量归一化之外提及的归一化方法 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| Wasserstein GAN | 论文 | 08 | 本章参考文献 |
| Improved Training of Wasserstein GANs | 论文 | 08 | 本章参考文献 |
| Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks | 论文 | 08 | 本章参考文献 |
| Progressive Growing of GANs for Improved Quality, Stability, and Variation | 论文 | 08 | 本章参考文献 |
| Are GANs Created Equal? A Large-Scale Study | 论文 | 08 | 本章参考文献 |
| Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks | 论文 | 08 | 本章参考文献 |
| StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation | 论文 | 08 | 本章参考文献 |
| RoBERTa: A Robustly Optimized BERT Pretraining Approach | 论文 | 10 | 本章参考文献 |
| Pretrained Language Model Embryology: The Birth of ALBERT | 论文 | 10 | 本章参考文献 |
| MASS: Masked Sequence to Sequence Pre-training for Language Generation | 论文 | 10 | 本章参考文献 |
| BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension | 论文 | 10 | 本章参考文献 |
| Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer | 论文 | 10 | 本章参考文献 |
| Is BERT a Cross-Disciplinary Knowledge Learner? | 论文 | 10 | 本章参考文献 |
| Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model | 论文 | 10 | 本章参考文献 |
| What Makes Multilingual BERT Multilingual? | 论文 | 10 | 本章参考文献 |
| Gradient-Based Learning Applied to Document Recognition | 论文 | 13 | 本章参考文献 |
| An Ensemble of Simple Convolutional Neural Network Models for MNIST Digit Recognition | 论文 | 13 | 本章参考文献 |
| Domain-Adversarial Training of Neural Networks | 论文 | 13 | 本章参考文献 |
| Unsupervised Domain Adaptation by Backpropagation | 论文 | 13 | 本章参考文献 |
| A DIRT-T Approach to Unsupervised Domain Adaptation | 论文 | 13 | 本章参考文献 |
| Maximum Classifier Discrepancy for Unsupervised Domain Adaptation | 论文 | 13 | 本章参考文献 |
| Universal Domain Adaptation | 论文 | 13 | 本章参考文献 |
| Test-Time Training with Self-Supervision for Generalization under Distribution Shifts | 论文 | 13 | 本章参考文献 |
| Domain Generalization with Adversarial Feature Learning | 论文 | 13 | 本章参考文献 |
| Learning to Learn Single Domain Generalization | 论文 | 13 | 本章参考文献 |
| Reinforcement Learning: An Introduction | 书籍 | 14 | 本章参考资料 |
| Rainbow: Combining Improvements in Deep Reinforcement Learning | 论文 | 14 | 本章参考资料 |
| Easy RL:强化学习教程 | 书籍 | 14 | 本章参考资料 |
| Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks | 论文 | 15 | 本章参考文献 |
| On First-Order Meta-Learning Algorithms | 论文 | 15 | 本章参考文献 |
| Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML | 论文 | 15 | 本章参考文献 |
| Learning to Learn by Gradient Descent by Gradient Descent | 论文 | 15 | 本章参考文献 |
| Optimal Brain Damage | 论文 | 17 | 本章参考文献 |
| Learning Structured Sparsity in Deep Neural Networks | 论文 | 17 | 本章参考文献 |
| Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask | 论文 | 17 | 本章参考文献 |
| Rethinking the Value of Network Pruning | 论文 | 17 | 本章参考文献 |
| Distilling the Knowledge in a Neural Network | 论文 | 17 | 本章参考文献 |
| Do Deep Nets Really Need to be Deep? | 论文 | 17 | 本章参考文献 |
| BinaryConnect: Training Deep Neural Networks with Binary Weights during Propagations | 论文 | 17 | 本章参考文献 |
| Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or −1 | 论文 | 17 | 本章参考文献 |
| XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks | 论文 | 17 | 本章参考文献 |
| Multi-Scale Dense Networks for Resource Efficient Image Classification | 论文 | 17 | 本章参考文献 |
| Slimmable Neural Networks | 论文 | 17 | 本章参考文献 |
| SkipNet: Learning Dynamic Routing in Convolutional Networks | 论文 | 17 | 本章参考文献 |
| Runtime Neural Pruning | 论文 | 17 | 本章参考文献 |
| BlockDrop: Dynamic Inference Paths in Residual Networks | 论文 | 17 | 本章参考文献 |
| SmoothGrad: Removing Noise by Adding Noise | 论文 | 18 | 本章参考文献 |
| Why Should I Trust You? Explaining the Predictions of Any Classifier | 论文 | 18 | 本章参考文献 |
| Large Scale GAN Training for High Fidelity Natural Image Synthesis | 论文 | 08 | BigGAN 生成案例 |
| The Curious Case of Neural Text Degeneration | 论文 | 07 | 生成解码、序列奖励或计划采样 |
| Sequence Level Training with Recurrent Neural Networks | 论文 | 07 | 生成解码、序列奖励或计划采样 |
| Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks | 论文 | 07 | 生成解码、序列奖励或计划采样 |
| Scheduled Sampling for Transformers | 论文 | 07 | 生成解码、序列奖励或计划采样 |
| Parallel Scheduled Sampling | 论文 | 07 | 生成解码、序列奖励或计划采样 |
| Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding | 论文 | 07 | 编码器各层信息用于解码的变体 |
| Sequence to Sequence Learning with Neural Networks | 论文 | 07 | 序列建模或 Transformer 归一化 |
| On Layer Normalization in the Transformer Architecture | 论文 | 07 | 序列建模或 Transformer 归一化 |
| PowerNorm: Rethinking Batch Normalization in Transformers | 论文 | 07 | 序列建模或 Transformer 归一化 |
| Grammar as a Foreign Language | 论文 | 07 | 将句法分析转换为序列生成 |
| Self-Attention Generative Adversarial Networks | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| End-to-End Object Detection with Transformers | 论文 | 06、07 | 自注意力图像应用、结构比较或效率 |
| Imaging Applications of Charge Coupled Devices (CCDs) for Cherenkov Telescope | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| On the Relationship between Self-Attention and Convolutional Layers | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Long Range Arena: A Benchmark for Efficient Transformers | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Linformer: Self-Attention with Linear Complexity | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Rethinking Attention with Performers | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Reformer: The Efficient Transformer | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Efficient Transformers: A Survey | 论文 | 06 | 自注意力图像应用、结构比较或效率 |
| Learning to Encode Position for Transformer with Continuous Dynamical Model | 论文 | 06 | 位置编码方法的比较与扩展 |
| Attention Is All You Need | 论文 | 06 | Transformer 与自注意力架构 |
| A Clockwork RNN | 论文 | 05 | 循环网络结构或初始化方法 |
| Learning Longer Memory in Recurrent Neural Networks | 论文 | 05 | 循环网络结构或初始化方法 |
| A Simple Way to Initialize Recurrent Networks of Rectified Linear Units | 论文 | 05 | 循环网络结构或初始化方法 |
| Mastering the Game of Go with Deep Neural Networks and Tree Search | 论文 | 04 | 卷积网络在棋盘、语音或文本上的应用 |
| Convolutional Neural Networks for Speech Recognition | 论文 | 04 | 卷积网络在棋盘、语音或文本上的应用 |
| UNITN: Training Deep Convolutional Neural Network for Twitter Sentiment Classification | 论文 | 04 | 卷积网络在棋盘、语音或文本上的应用 |
| Deep Residual Learning for Image Recognition | 论文 | 02、03 | 以深浅网络训练误差比较说明优化问题 |
| Adam: A Method for Stochastic Optimization | 论文 | 03 | 自适应动量优化器 |
| Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift | 论文 | 03 | 归一化方法及其优化解释 |
| How Does Batch Normalization Help Optimization? | 论文 | 03 | 归一化方法及其优化解释 |
| Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models | 论文 | 03 | 归一化方法及其优化解释 |
| Layer Normalization | 论文 | 03 | 归一化方法及其优化解释 |
| Instance Normalization: The Missing Ingredient for Fast Stylization | 论文 | 03 | 归一化方法及其优化解释 |
| Group Normalization | 论文 | 03 | 归一化方法及其优化解释 |
| Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks | 论文 | 03 | 归一化方法及其优化解释 |
| Spectral Norm Regularization for Improving the Generalizability of Deep Learning | 论文 | 03 | 归一化方法及其优化解释 |
| On the Variance of the Adaptive Learning Rate and Beyond | 论文 | 03 | 预热和自适应学习率进一步阅读 |
| On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
| Stochastic Weight Averaging in Parallel: Large-Batch Training That Generalizes Well | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
| Large Batch Training of Convolutional Networks | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
| Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
| Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
| Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour | 论文 | 03 | 批量大小、泛化或大批量训练的研究 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 读懂剪枝实现 | 实现深读 | done | 17 | 计划,官方源码及测试入口已核验 |
| 2 | 追踪多头注意力 | 实现深读 | done | 06–07 | 计划,官方源码及测试入口已核验 |
实践候选筛选:done
未采用候选:生成模型评估与对抗防御需要明确数据集和威胁场景,暂不虚构实验对象;元学习与持续学习的源码研究与上述计划成本相近,本轮优先选书中展开较多且有具体官方入口的注意力和剪枝。实践均为计划,未执行实验。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。