python中计算KL divergence

scipy里的entropy实际上就可以计算Kullback–Leibler divergence

>>> from scipy.stats import entropy
>>> entropy(p, q)

@sasa 写了二项分布的情况，其实KL还可以做两个高斯分布的情况

假设两个高斯分布$p:N(\mu_1, \sigma_1^2)$，$q:N(\mu_2,\sigma_2^2)$，这两个高斯分布的KL divergence就等于

$$\text{KL}(p,q)=\log\frac{\sigma_2}{\sigma_1}+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2}-\frac{1}{2}$$

上面的式子用python很好写的