知识卡片
参数更新必须切片赋值
问题:优化器里写 param = tensor_combine(...) 后,损失一直不降,却没有任何报错。原因在于 Python 的赋值只重新绑定名字:在 for row in tensor 里写 row = [0, 0],只是让局部变量指向新列表,原列表不变;而 row[:] = [0, 0] 是让列表对象自己改内容,所有持有它的地方都能看到。优化器遍历的是参数生成器,拿到的只是引用,必须就地修改,层里保存的权重才会真正更新。所以正确写法是 param[:] = tensor_combine(...),遍历本身不能省略——把整个 params 换成新列表也不会回写到模型里。这个坑在保存加载模型时同样成立,是 Python“名字与对象”区别的直接后果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
唯一令人吃惊的是“切片分配”,这反映了以下事实:重新分配列表不会更改其原始值。也就是说,如果仅执行 param = tensor_combine(...),则将重新定义局部变量 param,却不会影响存储在层中的原始张量参数。
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「唯一令人吃惊的是“切片分配”,这反映了以下事实:重新分配列表不会更改其原始值……」
- 原始内容:唯一令人吃惊的是“切片分配”,这反映了以下事实:重新分配列表不会更改其原始值。也就是说,如果仅执行 param = tensor_combine(...),则将重新定义局部变量 param,却不会影响存储在层中的原始张量参数。