随机梯度下降(SGD)可以被并行计算吗?

  数学 数值计算    浏览次数:802        分享
0

随机梯度下降(SGD)是对样本进行逐个计算,感觉效率还有提升的空间。SGD可以被并行计算吗?

 

桐桐酱   2019-07-05 22:20



   1个回答 
5

2010年的NIPS就有关于SGD并行的论文了。论文Parallelized Stochastic Gradient Descent传送门

论文里回顾了之前的做法,就是把数据分成k份,各自计算,然后最后做一个平均。(论文中的Algorithm 2)

他们提出的是算法是在算法的过程中不断汇总平均,而不是只在最后做平均。(论文中的Algorithm 3)

具体算法如下:


SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-09-18 23:41



  相关主题

能不能用梯度下降法求平方根或者立方根?   2回答

怎么用牛顿法近似求解根号2?   2回答

关于随机梯度下降法(SGD)的问题   1回答

SGD with clipping是什么意思?   2回答

常说的低秩分解或者低秩逼近是什么意思?   1回答

部分主元   1回答

python里怎么求矩阵的条件数?   1回答

nesterov’s momentum和momentum的区别?   1回答

用SGD时陷入局部最优解的解决方法   3回答

学习率不当会导致sgd不收敛吗?   5回答

梯度上升算法是什么?   2回答

随机梯度下降(sgd)的收敛问题   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!