知识卡片
期望方差与协方差
期望是函数 f(x) 在分布 P(x) 下的平均值,离散时求和、连续时求积分,并且具有线性——和的期望等于期望的和。方差衡量 f(x) 围绕其期望的离散程度,其平方根是标准差。协方差衡量两个变量线性相关的强度及尺度:正协方差表示两者倾向同时偏大,负协方差表示一者偏大时另一者偏小。关键边界是:零协方差只说明没有线性关系,并不等于独立——独立性更强,它还排除了非线性依赖。反例是取 x 均匀分布于 [-1,1],令 y=sx 且 s 随机取 ±1,此时 x 完全决定 y 的尺度、二者显然不独立,但协方差为零。相关系数把各变量贡献归一化,用于只衡量相关性而不受尺度影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 概率与信息论 · 查看原书依据
两个变量如果协方差为零,它们之间一定没有线性关系。独立性是比零协方差的要求更强,因为独立性还排除了非线性的关系。两个变量相互依赖,但是具有零协方差是可能的。
参考来源
- 位置:《深度学习》第3章 概率与信息论(源文件:extracted/深度学习/_epub-src/text/part0000_split_001.html)
- 结论依据:原文明确指出协方差为零不等于独立,并用 x 与 sx 的构造作为反例加以说明。
- 原始内容:两个变量如果协方差为零,它们之间一定没有线性关系。独立性是比零协方差的要求更强,因为独立性还排除了非线性的关系。两个变量相互依赖,但是具有零协方差是可能的。