SGD with clipping是什么意思?

  统计/机器学习 数值计算    浏览次数:58        分享
0

SGD with clipping是什么意思?sgd是随机梯度下降,不太了解with clipping这个术语。

 

桐桐酱   2019-09-08 12:02



   1个回答 
0

clipping是对梯度进行剪裁,也就是把每次计算的梯度限制在$[-d, d]$的范围内,如果计算得到的梯度大于$d$,就取$d$;如果小于$-d$,就取$-d$。$d$是自己设置的。

这样的目的主要是防止梯度爆炸。

SofaSofa数据科学社区DS面试题库 DS面经

Josh_Josh   2019-09-09 22:09



  相关主题

能不能用梯度下降法求平方根或者立方根?   2回答

怎么用牛顿法近似求解根号2?   2回答

随机梯度下降(SGD)可以被并行计算吗?   0回答

关于随机梯度下降法(SGD)的问题   1回答

为什么不用拉格朗日插值法来拟合一维数据?   2回答

神经网络中梯度消弥的原因是什么?   1回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

优化算法中的“带冲量”是什么意思?   1回答

Newton–Raphson和牛顿法区别?   1回答

RMSProp的直白解释   1回答

学习率不当会导致sgd不收敛吗?   5回答

常说的低秩分解或者低秩逼近是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!