怎么理解神经网络中的激活函数hard sigmoid?

  统计/机器学习 人工神经网络    浏览次数: 66
0

怎么理解神经网络中的激活函数hard sigmoid?它和传统的sigmoid函数的区别是什么?

 

烙神经   2018-08-08 03:20



   1个回答 
2

Hard Sigmoid是简单版本(非光滑)的Sigmoid,其作用就是用三个线段来拟合整个Sigmoid函数。

表达式是分段的。

如果$x<-2.5$

$$\text{HardSigmoid}(x)=0$$

如果$-2.5\leq x\leq 2.5$

$$\text{HardSigmoid}(x)=0.2x+0.5$$

如果$x>2.5$

$$\text{HardSigmoid}(x)=1$$

从上图可以很明显地看出,hard sigmoid的非光滑性,但是同时两者又非常接近。

与sigmoid相比,hard sigmoid的好处就是计算量小了,毕竟不用求e的幂次。

okayguy   2018-08-10 10:10



  相关主题

elu激活函数是什么?   1回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

LeakyReLu是什么意思?   1回答

keras中怎么增加Leaky relu的激活层   1回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

神经网络里每层的激活函数必须是一样的吗?   1回答

激活函数ReLU和Sigmoid的优劣对比   4回答

人工神经网络有哪些常用的激活函数?   3回答

什么叫成本函数?它的作用是什么?   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

怎么在keras中加载MNSIT数据集?   2回答

如何理解神经网络的Universal approximation theorem?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!