为什么GAN是非监督的?

  统计/机器学习 无监督学习 深度学习 人工神经网络    浏览次数:4970        分享
0

为什么GAN是非监督的学习方法?

 

kunkunkun   2019-01-03 11:17



   2个回答 
3

因为GAN本身并不需要数据有label,GAN是产生人工“假”数据,配合原来的真数据来训练discriminator ,而并非原始数据中的label。

所以说GAN是非监督的。

SofaSofa数据科学社区DS面试题库 DS面经

tbh   2019-01-23 12:18

2

GAN是semi-supervised, 包含generator$G()$和discriminator$D()$。它有两个输出数据,对应两个loss:

1.原始的输出。loss1可以是逻辑回归或线性回归,用于训练$G()$,是监督训练;

2.人造的label,表示是见过的训练数据。loss2是逻辑回归,用于训练 $D(G())$,是非监督训练。关键是loss2的gradient会传到$G()$,从而用人造label训练generator。换句话说人造label会作为正则项限制$G()$中参数的取值范围。Discriminator用到了“存在即合理”的假设,label=1表示“存在”。这点类似于one class svm anomaly detection,把见过的正常数据的表达空间压缩到一个点上(label=1),而label=0表示其余没见过的“非正常”数据。

----------------题外话---------------------

Discriminator可看做是一个正则项,类似对generator参数$w$的L1/L2 norm,提供先验信息(prior),压缩$w$的取值空间$W$。一般overfitting都发生在$W$的边沿,如果限缩了$W$,把那些边沿部分从$W$中去掉,会降低overfitting的概率。

正则项一般来源于数据某种特征的稀疏性,比如$w$的L1/L2 norm,或者图像处理中相邻pixel的差要稀疏(TV, Laplace,Gaussian)。 Discriminator也是一个稀疏表达(sparse representation)的限制条件,这个人造label就是它的特征,把所有训练数据压缩到一个点上。


SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-07-20 18:52



  相关主题

神经网络模型里训练和推理是什么意思?   1回答

BatchNormalization这一层一般有哪些参数需要调?   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

为什么小数据不适合神经网络模型?   3回答

深度学习和人工神经网络是一回事吗?   1回答

深度学习模型的“蒸馏”是什么意思?   1回答

神经网络中的Dropout和Bagging   1回答

dropout rate一般设置多大?   3回答

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   2回答

神经网络里为什么隐藏层越多越好?   3回答

epoch和batch之间有什么关系?   3回答

deep learning中的pooling是什么意思?   6回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!