图中，x为离散随机变量，熵为H(P),|X|为随机变量x取值的个数，H(p)<=log|X|是如何得到的？谢谢！
1个回答
因为均匀分布是最大熵分布，当$P(x)=1/n=1/|x|$,此时$H(x)=-n/nlog(1/n)=log(n)$,所以$H(x)<=log(n)$。至于为什么均匀分布是最大熵分布，可以看这里。
SofaSofa数据科学社区DS面试题库 DS面经
Zealing
2019-11-13 15:41
简单的理解就是均匀分布->杂乱无序->熵大
-
东布东
2019-11-25 09:55
相关讨论
随便看看