决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数:1337        分享
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
2

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

SofaSofa数据科学社区DS面试题库 DS面经

gsscsd   2018-01-09 21:41



  相关主题

随机森林中增加树的数量对于偏差和方差的影响   2回答

怎么理解RandomForest中的max_features?   1回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

python sklean中的决策树是用的哪一种决策树算法?   2回答

随机森林警告:A column-vector y was passed when a 1d array was expected   1回答

关于knn算法中kd树的问题   1回答

Extra Tree算法   1回答

随机森林如何调参?   3回答

决策树怎么做增量学习或者online学习?   1回答

随机森林是如何计算测试样本的概率的?   1回答

决策回归树   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!