高斯混合模型里的隐变量是什么变量?

  统计/机器学习 概率分布 无监督学习    浏览次数:4941        分享
0

高斯混合模型里的隐变量是什么?具体是指哪一个变量?

 

jimmy   2019-05-14 10:35



   3个回答 
6

指某个数据属于某个高斯成分(Gaussian component)的one-hot分类标签向量。比如$x_i$属于4个高斯成分中的第2个,$z_i=[0,1,0,0]^T$。它先验分布可以是多项分布,$z_i|\pi \sim \text{multinormial}(\pi)$。一般数据的分类标签是未知的,所以是隐藏变量。主要目的是加入分类标签状态,引入中间辅助变量,便于简化计算。

一般不能直接通过最大似然函数法求解高斯混合模型GMM,(因为$\log$中有加法,没法交换顺序)。可以用EM算法交替求解分类标签期望$E(z_i)$和模型参数$\pi,\mu,\Sigma$。其中$E(z_i)$是$x_i$属于各个高斯成分的概率。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-05-15 02:36

3

隐变量是针对混合模型而言的。考虑特定的样本$x$,可以用$z_x$作為隐变量表示生成了$x$的那个混合组分。

SofaSofa数据科学社区DS面试题库 DS面经

shouldsee   2019-05-15 03:28

3

每个样本都有一个隐变量,这个隐变量$W_{i,j}$是指第$i$个样本属于第$j$簇的概率。具体的数值是在EM算法的迭代中不停更新的。

具体可以看教程GMM与EM算法的Python实现

SofaSofa数据科学社区DS面试题库 DS面经

u_u   2019-05-15 10:55

谢谢,很好的学习资料 - jimmy   2019-05-18 12:53


  相关讨论

高斯混合模型对初始值敏感吗?

关于高斯混合模型的分布的疑问

用高斯混合模型(GMM)做聚类时,怎么确定component的个数?

两个独立的正态随机变量的乘积服从什么分布?

odds和odds ratio的定义是什么?

Weibull分布是什么分布?现实中有什么例子?

长尾分布、肥尾分布、重尾分布?

均匀分布的上限的最大似然估计

log-normal分布实际有什么用?

机器学习中,数据的分布是指什么呢?

  随便看看

PCA降维之前为什么要先标准化?

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?

Resnet-18, Resnet-50, Resnet-101这些模型里的数字是什么意思?

模型调参时常用到的Grid Search是什么意思?

向量梯度下降优化的最佳步长?