激活函数multi-sigmoid和softmax有什么区别?

  统计/机器学习 人工神经网络    浏览次数:2891        分享
0

激活函数multi-sigmoid和softmax有什么区别?

 

Pandas   2020-08-03 22:52



   1个回答 
2

multi-sigmoid activation function 用于multi-label classification problem,label不是只有一个答案,也就说label y可能有多个1。比如一个x-ray胸透结果,可能诊断出有肺部感染和脓肿,但是没有胸膜增厚,没有心脏肿大或者疝气那么y = (y1=1, y2=1, y3=0, y4 = 0, y5 = 0),使用multi-sigmoid激活函数产生的概率是 prob = (0.9, 0.8, 0.2, 0.1, 0.15). 注意,这里所有的概率和并不是1,每个维度是相对彼此独立的。

softmax activation function 用于multi-class classification problem,label只能有一个答案,label y只有一个1。比如我们要判断一个图片到底是0-9里面的哪个数字,y class有10个,但是只可能有一个数字。假设这个数字是3, y = (y1 = 0, y2 = 0, y3 = 1, y4 = 0, ..., y9 = 0), 使用softmax激活函数产生概率是prob = (0.01, 0.01, 0.9, 0.01, 0.01, 0.01, 0.02, 0.01, 0.01, 0.01). 注意,这里的概率和必须相加为1,这是限制条件。

总结来说,如果你的output class是互斥的,就用softmax, 反之用sigmoid。


SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-18 03:06



  相关讨论

purelin激活函数是什么?

激活函数RELU在0点的导数是多少?

激活函数leakyRELU和pRELU的区别是什么?

怎么理解神经网络中的激活函数hard sigmoid?

elu激活函数是什么?

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?

softmin是什么激活函数?

怎么理解所谓的dying relu?

LeakyReLu是什么意思?

sigmoid, tanh, arctan这几个激活函数为什么长这么像?

  随便看看

如何清空pandas dataframe里的全部数据但是保留列名?

机器学习算法的鲁棒性是什么意思?

logloss的取值范围是多少?一般好的分类器能达到多少?

如何理解VC dimension?

为什么机器学习中的优化问题很少用到牛顿法?