什么是Jensen不等式?有什么直观的解释?

  数学 概率论    浏览次数:7618        分享
1

什么是Jensen不等式?有什么直观的解释?

 

offer雨   2018-10-09 08:16



   2个回答 
7

Jensen不等式刻画了凸函数的一个性质。假如$f(X)$是个凸函数,,对于一个随机变量$X$,那么

$$\mathbb{E}[f(X)] \geq f(\mathbb{E}[X])$$

举个直观点的例子,假设$f(X)$是点$X$到原点的欧式距离。

一个聚类中有$m$个点,这些点到原点的平均欧式距离肯定是大于等于这个聚类的中心点到原点的欧式距离的。

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2018-10-15 10:20

明白了谢谢 - offer雨   2018-10-15 21:22
为什么会大于呢? - gzchen   2019-03-01 23:26
大于是凸函数的性质 - chrisliang   2019-03-02 15:26
5

凸函数$f(x)$的性质是

$$tf(x_1)+(1-t)f(x_2) \geq f(tx_1+(1-t)x_2)$$

如果取$t=0.5$,那么

$$\frac{1}{2}(f(x_1)+f(x_2)) \geq f\left(\frac{1}{2}(x_1+x_2)\right)$$

推广到$n$个元素

$$\frac{1}{n} \sum_{i=1}^n f(x_i) \geq f \left(\frac{1}{n}\sum_{i=1}^n x_i\right)$$

也就是

$$\mathbb{E}(f(X)) \geq f(\mathbb{E}(X))$$

SofaSofa数据科学社区DS面试题库 DS面经

chrisliang   2019-03-02 15:35



  相关讨论

用一个骰子生成1到7的随机数?

超几何概率问题

今天明天都下雨的概率

柯西分布没有数学期望

一个骰子平均扔多少回才能把六个数字都扔出来至少一次

对于独立正态变量X, Y ~ N(0,1),X+Y和X-Y是否独立?

概率统计里的iid是什么意思?

什么函数族满足关于最值函数封闭?

概率论问题 求(X+Y)/(X-Y)的分布

条件概率证明P(a,b|c) > P(a,b)

  随便看看

查看sklearn的线性回归系数的p value

huber loss是什么?什么时候用?

牛顿法到底是一阶优化算法还是二阶优化算法?

sklearn中的predict_proba方法的返回值的意义

pytorch里view(-1, 1)什么意思?