什么是Jensen不等式?有什么直观的解释?
2个回答
Jensen不等式刻画了凸函数的一个性质。假如$f(X)$是个凸函数,,对于一个随机变量$X$,那么
$$\mathbb{E}[f(X)] \geq f(\mathbb{E}[X])$$
举个直观点的例子,假设$f(X)$是点$X$到原点的欧式距离。
一个聚类中有$m$个点,这些点到原点的平均欧式距离肯定是大于等于这个聚类的中心点到原点的欧式距离的。
SofaSofa数据科学社区DS面试题库 DS面经凸函数$f(x)$的性质是
$$tf(x_1)+(1-t)f(x_2) \geq f(tx_1+(1-t)x_2)$$
如果取$t=0.5$,那么
$$\frac{1}{2}(f(x_1)+f(x_2)) \geq f\left(\frac{1}{2}(x_1+x_2)\right)$$
推广到$n$个元素
$$\frac{1}{n} \sum_{i=1}^n f(x_i) \geq f \left(\frac{1}{n}\sum_{i=1}^n x_i\right)$$
也就是
$$\mathbb{E}(f(X)) \geq f(\mathbb{E}(X))$$
SofaSofa数据科学社区DS面试题库 DS面经 相关主题
对于独立正态变量X, Y ~ N(0,1),X+Y和X-Y是否独立?
2回答
今天明天都下雨的概率
1回答
柯西分布没有数学期望
1回答
用一个骰子生成1到7的随机数?
5回答
证明马尔可夫不等式
1回答
超几何概率问题
1回答
什么函数族满足关于最值函数封闭?
0回答
Fisher Information的统计意义是什么?
1回答
指数家族有哪些常见的概率分布?
2回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!