激活函数multi-sigmoid和softmax有什么区别?

  统计/机器学习 人工神经网络    浏览次数:2240        分享
0

激活函数multi-sigmoid和softmax有什么区别?

 

Pandas   2020-08-03 22:52



   1个回答 
2

multi-sigmoid activation function 用于multi-label classification problem,label不是只有一个答案,也就说label y可能有多个1。比如一个x-ray胸透结果,可能诊断出有肺部感染和脓肿,但是没有胸膜增厚,没有心脏肿大或者疝气那么y = (y1=1, y2=1, y3=0, y4 = 0, y5 = 0),使用multi-sigmoid激活函数产生的概率是 prob = (0.9, 0.8, 0.2, 0.1, 0.15). 注意,这里所有的概率和并不是1,每个维度是相对彼此独立的。

softmax activation function 用于multi-class classification problem,label只能有一个答案,label y只有一个1。比如我们要判断一个图片到底是0-9里面的哪个数字,y class有10个,但是只可能有一个数字。假设这个数字是3, y = (y1 = 0, y2 = 0, y3 = 1, y4 = 0, ..., y9 = 0), 使用softmax激活函数产生概率是prob = (0.01, 0.01, 0.9, 0.01, 0.01, 0.01, 0.02, 0.01, 0.01, 0.01). 注意,这里的概率和必须相加为1,这是限制条件。

总结来说,如果你的output class是互斥的,就用softmax, 反之用sigmoid。


SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-18 03:06



  相关主题

elu激活函数是什么?   1回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

swish激活函数的公式是什么?   2回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

purelin激活函数是什么?   1回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

有没有最新的Pycharm2019专业版激活码   0回答

LeakyReLu是什么意思?   1回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

激活函数RELU在0点的导数是多少?   3回答

激活函数leakyRELU和pRELU的区别是什么?   2回答

人工神经网络有哪些常用的激活函数?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!