机器学习知识

数学基础

KL 散度

KL 散度是描述两个概率分布P 和Q差异一种方法。

离散概率分布的KL散度计算公式为:

$$KL(p||q) = \sum p(x)\log\frac{p(x)}{q(x)}$$

连续概率分布的KL散度计算公式为：

$$KL(p||q)=\int p(x)\log\frac{p(x)}{q(x)}\mathrm{d}x$$

分布越相近，KL散度越小，分布越远，KL散度越大。

由上凸函数可证KL散度的结果非负。

• 非对称
• 不满足三角不等式

从熵的角度看：

基于P编码P的熵：

$$H(x) = \sum_{i\in X}p(i) * \log\frac{1}{p(i)}$$

基于P编码Q的熵：

$$H^{\prime}(x) = \sum_{i\in X}p(i) * \log\frac{1}{q(i)}$$

相减:

$$H^{\prime}(x) - H(x) = \sum p(x)\log\frac{p(x)}{q(x)}$$

一些计算例子: orz