← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9556.f · 生成模型:DeepSeek-V4.1-Flash

让损失曲线看得见

理解等级:初级

训练是否在收敛,靠终端里滚动的 loss 数字很难判断。TensorBoard 的做法是把标量写进事件文件:训练循环每个 epoch 结束时调用记录接口写一次 loss,日志落在指定目录,再用 tensorboard –logdir 起一个本地服务,浏览器打开 6006 端口就能看到损失曲线。

曲线提供的是趋势而非单点。单步 loss 的波动可能只反映当前 batch 的难度差异;连续多个 epoch 的走向才说明学习率是否合适、是否过拟合、有没有出现数值异常。原文的示例每 10 个 epoch 存一次检查点、每 epoch 记一次 loss,输出里 loss 从 0.5342 一路降到 0.2467,配合图11-1 的控制台与图11-2 的曲线,把”在学”这件事变成看得见的证据。

记录频率是一处权衡:每 epoch 记一次足够看趋势;若每步都记,事件文件会迅速膨胀,曲线也会被高频噪声淹没。监控与检查点的职责也不同——前者负责”看见”,后者负责”能回来”,两套机制各自配置、互不替代。

在 [[IMDB分类的五段训练链]] 里,这一步是判断其余环节是否配错的唯一外部信号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型训练实战 · 查看原书依据

      在浏览器中打开http://localhost:6006,在TensorBoard中可以查看训练过程的损失曲线,有助于分析模型的收敛性和性能。TensorBoard控制台页面如图11-1所示,训练损失曲线如图11-2所示。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0003.xhtml) - 结论依据:原文给出启动 TensorBoard 的命令与 6006 端口访问方式,并说明可据此查看损失曲线、分析收敛性与性能。 - 原始内容:在浏览器中打开http://localhost:6006,在TensorBoard中可以查看训练过程的损失曲线,有助于分析模型的收敛性和性能。TensorBoard控制台页面如图11-1所示,训练损失曲线如图11-2所示。