如何对大型线性回归进行并行计算？

1. 如果是用投影矩阵来求线性回归，那么这个问题就等同于如何对矩阵进行并行计算（网上这方面资料非常多）。

2.如果是用数值方法来求线性回归，可以考虑mini-batch，也就是abuu说的。

3. 如果考虑分布式计算（也就是把数据切成好N块），可以每个机器或者cpu分配到N分之一的数据，分别进行计算，最后对N组回归系数取平均值。这个方法在大数据公司很常用，比如linkedin，google。

提供一个思路：

用mini-batch梯度下降。比如batch-size是40，你有4个cpu，那么就是每个cpu计算10个点，然后合在一起。

如果用梯度下降法来实现的话，梯度中每个元素的计算都是独立的，以及每个权重的更新也是独立的，这两个部分也可以用并行计算。

实际工作中就是直接用spark MLlib或者H2O解决