知识卡片
让损失曲线看得见
训练是否在收敛,靠终端里滚动的 loss 数字很难判断。TensorBoard 的做法是把标量写进事件文件:训练循环每个 epoch 结束时调用记录接口写一次 loss,日志落在指定目录,再用 tensorboard –logdir 起一个本地服务,浏览器打开 6006 端口就能看到损失曲线。
曲线提供的是趋势而非单点。单步 loss 的波动可能只反映当前 batch 的难度差异;连续多个 epoch 的走向才说明学习率是否合适、是否过拟合、有没有出现数值异常。原文的示例每 10 个 epoch 存一次检查点、每 epoch 记一次 loss,输出里 loss 从 0.5342 一路降到 0.2467,配合图11-1 的控制台与图11-2 的曲线,把”在学”这件事变成看得见的证据。
记录频率是一处权衡:每 epoch 记一次足够看趋势;若每步都记,事件文件会迅速膨胀,曲线也会被高频噪声淹没。监控与检查点的职责也不同——前者负责”看见”,后者负责”能回来”,两套机制各自配置、互不替代。
在 [[IMDB分类的五段训练链]] 里,这一步是判断其余环节是否配错的唯一外部信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
在浏览器中打开http://localhost:6006,在TensorBoard中可以查看训练过程的损失曲线,有助于分析模型的收敛性和性能。TensorBoard控制台页面如图11-1所示,训练损失曲线如图11-2所示。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0003.xhtml)
- 结论依据:原文给出启动 TensorBoard 的命令与 6006 端口访问方式,并说明可据此查看损失曲线、分析收敛性与性能。
- 原始内容:在浏览器中打开http://localhost:6006,在TensorBoard中可以查看训练过程的损失曲线,有助于分析模型的收敛性和性能。TensorBoard控制台页面如图11-1所示,训练损失曲线如图11-2所示。