随机梯度下降(SGD)可以被并行计算吗?

  数学 数值计算    浏览次数:326        分享
0

随机梯度下降(SGD)是对样本进行逐个计算,感觉效率还有提升的空间。SGD可以被并行计算吗?

 

桐桐酱   2019-07-05 22:20



   1个回答 
4

2010年的NIPS就有关于SGD并行的论文了。论文Parallelized Stochastic Gradient Descent传送门

论文里回顾了之前的做法,就是把数据分成k份,各自计算,然后最后做一个平均。(论文中的Algorithm 2)

他们提出的是算法是在算法的过程中不断汇总平均,而不是只在最后做平均。(论文中的Algorithm 3)

具体算法如下:


SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-09-18 23:41



  相关主题

能不能用梯度下降法求平方根或者立方根?   2回答

关于随机梯度下降法(SGD)的问题   1回答

怎么用牛顿法近似求解根号2?   2回答

SGD with clipping是什么意思?   1回答

部分主元   1回答

常说的低秩分解或者低秩逼近是什么意思?   1回答

最速下降法与梯度下降法   1回答

RMSProp的直白解释   1回答

学习率不当会导致sgd不收敛吗?   5回答

梯度上升算法是什么?   2回答

用SGD时陷入局部最优解的解决方法   3回答

随机梯度下降(sgd)的收敛问题   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!