决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数:2856        分享
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
2

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

SofaSofa数据科学社区DS面试题库 DS面经

gsscsd   2018-01-09 21:41



  相关主题

决策树的深度和数据特征个数的关系   1回答

决策树算法ID3,C4.5和CART的特点、异同?   3回答

请问针对Adaboost、GBDT等集成学习同一个特征是否可以入模多次?   1回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

怎么得到randomforestregressor里每棵树的预测结果?   1回答

python里实现一个简单的决策树   1回答

怎么理解RandomForest中的max_features?   1回答

关于knn算法中kd树的问题   1回答

Adaboost里的树有没有可能权重是负数?   1回答

剪枝是什么意思   1回答

python sklean中的决策树是用的哪一种决策树算法?   2回答

决策树怎么做增量学习或者online学习?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!