怎么理解神经网络中的激活函数hard sigmoid?

  统计/机器学习 人工神经网络    浏览次数:5561        分享
1

怎么理解神经网络中的激活函数hard sigmoid?它和传统的sigmoid函数的区别是什么?

 

烙神经   2018-08-08 03:20



   1个回答 
7

Hard Sigmoid是简单版本(非光滑)的Sigmoid,其作用就是用三个线段来拟合整个Sigmoid函数。

表达式是分段的。

如果$x<-2.5$

$$\text{HardSigmoid}(x)=0$$

如果$-2.5\leq x\leq 2.5$

$$\text{HardSigmoid}(x)=0.2x+0.5$$

如果$x>2.5$

$$\text{HardSigmoid}(x)=1$$

从上图可以很明显地看出,hard sigmoid的非光滑性,但是同时两者又非常接近。

与sigmoid相比,hard sigmoid的好处就是计算量小了,毕竟不用求e的幂次。

SofaSofa数据科学社区DS面试题库 DS面经

okayguy   2018-08-10 10:10

谢谢,非常清楚,尤其是两个函数的曲线对比 - 烙神经   2018-08-17 06:54


  相关主题

LeakyReLu是什么意思?   1回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

环境激活报错求解   0回答

激活函数RELU在0点的导数是多少?   3回答

softmin是什么激活函数?   3回答

purelin激活函数是什么?   1回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

激活函数leakyRELU和pRELU的区别是什么?   2回答

激活函数multi-sigmoid和softmax有什么区别?   0回答

elu激活函数是什么?   1回答

swish激活函数的公式是什么?   2回答

神经网络里每层的激活函数必须是一样的吗?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!