swish激活函数的公式是什么?

  统计/机器学习 深度学习 人工神经网络    浏览次数:1583        分享
0

有了解swish激活函数的吗?公式是什么?

 

双鸭熊仔   2019-11-19 10:16



   2个回答 
3

f(x) = x*sigmoid(βx) . β为常数或者可训练的参数

SofaSofa数据科学社区DS面试题库 DS面经

zlsama   2019-11-19 17:36

3

$f(x)=x\cdot\text{sigmoid}(x)$

Swish是ReLU的良好替代:

1)Swish可导

2)小于0时并非始终等于0

3)非单调

SofaSofa数据科学社区DS面试题库 DS面经

Lydia   2019-11-21 13:32



  相关主题

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

softmin是什么激活函数?   3回答

elu激活函数是什么?   1回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

神经网络里每层的激活函数必须是一样的吗?   1回答

环境激活报错求解   0回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

LeakyReLu是什么意思?   1回答

purelin激活函数是什么?   1回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

激活函数leakyRELU和pRELU的区别是什么?   2回答

激活函数RELU在0点的导数是多少?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!