决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数: 542
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
2

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

gsscsd   2018-01-09 21:41



  相关主题

决策树怎么做增量学习或者online学习?   1回答

随机森林中增加树的数量对于偏差和方差的影响   2回答

剪枝是什么意思   1回答

求问:Cart分类树为什么是基尼指数最小化准则   1回答

决策树可以做多元分类吗?   1回答

Adaboost里的树有没有可能权重是负数?   1回答

随机森林(random forest)和支持向量机(SVM)各有什么优劣   1回答

决策树的熵是什么?怎么用熵来选分叉?   1回答

关于knn算法中kd树的问题   0回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

Extra Tree算法   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!