什么是Jensen不等式?有什么直观的解释?

  数学 概率论    浏览次数:1164        分享
1

什么是Jensen不等式?有什么直观的解释?

 

offer雨   2018-10-09 08:16



   2个回答 
6

Jensen不等式刻画了凸函数的一个性质。假如$f(X)$是个凸函数,,对于一个随机变量$X$,那么

$$\mathbb{E}[f(X)] \geq f(\mathbb{E}[X])$$

举个直观点的例子,假设$f(X)$是点$X$到原点的欧式距离。

一个聚类中有$m$个点,这些点到原点的平均欧式距离肯定是大于等于这个聚类的中心点到原点的欧式距离的。

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2018-10-15 10:20

明白了谢谢 - offer雨   2018-10-15 21:22
为什么会大于呢? - gzchen   2019-03-01 23:26
大于是凸函数的性质 - chrisliang   2019-03-02 15:26
4

凸函数$f(x)$的性质是

$$tf(x_1)+(1-t)f(x_2) \geq f(tx_1+(1-t)x_2)$$

如果取$t=0.5$,那么

$$\frac{1}{2}(f(x_1)+f(x_2)) \geq f\left(\frac{1}{2}(x_1+x_2)\right)$$

推广到$n$个元素

$$\frac{1}{n} \sum_{i=1}^n f(x_i) \geq f \left(\frac{1}{n}\sum_{i=1}^n x_i\right)$$

也就是

$$\mathbb{E}(f(X)) \geq f(\mathbb{E}(X))$$

SofaSofa数据科学社区DS面试题库 DS面经

chrisliang   2019-03-02 15:35



  相关主题

柯西分布没有数学期望   1回答

证明马尔可夫不等式   1回答

今天明天都下雨的概率   1回答

用一个骰子生成1到7的随机数?   5回答

对于独立正态变量X, Y ~ N(0,1),X+Y和X-Y是否独立?   2回答

一个骰子平均扔多少回才能把六个数字都扔出来至少一次   2回答

指数分布、几何分布、泊松分的联系是什么?   1回答

蓄水池采样的证明   1回答

为什么p value是服从[0, 1]均匀分布的?   2回答

Fisher Information的统计意义是什么?   1回答

指数家族有哪些常见的概率分布?   2回答

由均匀分布生成标准正态分布   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!