sklearn里learning_rate什么意思?

  统计/机器学习 监督式学习 Python    浏览次数:5912        分享
2
在sklearn里很多模块都看到learning_rate,这个学习率是什么意思?
 

机器小白   2017-04-15 15:15



   2个回答 
7

learning rate,学习率,顾名思义就是模型学习训练集的速度,或者说模型被训练的速度。

learning rate越大,训练得越快;反之,越慢。

learning rate通常是针对于基于梯度下降的机器学习模型,具体说来这个学习率就是梯度下降的步长。对于凸优化,一般说来步长越小收敛越慢;对于非凸问题,learning rate就不是那么直截了当的了。选太小了,训练太慢,影响这个模型的进度,选太大了,可能一步跨过去,错过了最优点。

现在有很多模型能够根据数据的特点自动选择学习率。如果你要手动设置的话,根据我个人的经验0.00001到0.1的范围比较常见,有时候你甚至需要通过交叉验证来最后确定学习率。

SofaSofa数据科学社区DS面试题库 DS面经

高代兄   2017-04-16 04:24

1

就是梯度下降里的步长

仅此而已


SofaSofa数据科学社区DS面试题库 DS面经

waccam   2017-10-23 14:58



  相关主题

sklearn分类模型中预测结果怎么调整概率的阈值   1回答

请问在sklearn怎么在已有的模型的基础上训练新的数据?   3回答

sklearn中的predict_proba方法的返回值的意义   2回答

sklearn实现adaboost算法了吗?   1回答

求sklearn.pipeline.Pipeline使用的例子   1回答

sklearn的模型如何保存下来?   2回答

python sklearn模型中random_state参数的意义   2回答

GradientBoostingClassifier的每次输出结果不同   1回答

同一批样本数据,利用sklearn中二项逻辑回归预测同一批预测数据的概率,每次预测结果有很大不同   1回答

sklearn中除了sgd以外,还有什么可以使用partial_fit方法吗?   1回答

sklearn.linear_model.SGDClassifier能做小批量学习(mini-batch)吗?   2回答

sklearn.linear_model.SGDClassifier中的参数n_iter设置问题   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!