高斯混合模型里的隐变量是什么变量?

  统计/机器学习 概率分布 无监督学习    浏览次数:111        分享
0

高斯混合模型里的隐变量是什么?具体是指哪一个变量?

 

jimmy   2019-05-14 10:35



   3个回答 
4

指某个数据属于某个高斯成分(Gaussian component)的one-hot分类标签向量。比如$x_i$属于4个高斯成分中的第2个,$z_i=[0,1,0,0]^T$。它先验分布可以是多项分布,$z_i|\pi \sim \text{multinormial}(\pi)$。一般数据的分类标签是未知的,所以是隐藏变量。主要目的是加入分类标签状态,引入中间辅助变量,便于简化计算。

一般不能直接通过最大似然函数法求解高斯混合模型GMM,(因为$\log$中有加法,没法交换顺序)。可以用EM算法交替求解分类标签期望$E(z_i)$和模型参数$\pi,\mu,\Sigma$。其中$E(z_i)$是$x_i$属于各个高斯成分的概率。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-05-15 02:36

3

隐变量是针对混合模型而言的。考虑特定的样本$x$,可以用$z_x$作為隐变量表示生成了$x$的那个混合组分。

SofaSofa数据科学社区DS面试题库 DS面经

shouldsee   2019-05-15 03:28

2

每个样本都有一个隐变量,这个隐变量$W_{i,j}$是指第$i$个样本属于第$j$簇的概率。具体的数值是在EM算法的迭代中不停更新的。

具体可以看教程GMM与EM算法的Python实现

SofaSofa数据科学社区DS面试题库 DS面经

u_u   2019-05-15 10:55

谢谢,很好的学习资料 - jimmy   2019-05-18 12:53


  相关主题

关于高斯混合模型的分布的疑问   3回答

用高斯混合模型(GMM)做聚类时,怎么确定component的个数?   2回答

二项分布的正态近似   2回答

机器学习中,数据的分布是指什么呢?   1回答

两个独立的正态随机变量的乘积服从什么分布?   1回答

均匀分布的上限的最大似然估计   2回答

长尾分布、肥尾分布、重尾分布?   1回答

python产生服从常用概率分布的随机数   1回答

python怎么生成截断正态分布变量?   1回答

生成两组不独立的标准正态分布随机数   1回答

什么是K-Modes(K众数)聚类法?   1回答

层次聚类里的linkage是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!