决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数:1168        分享
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
2

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

SofaSofa数据科学社区DS面试题库 DS面经

gsscsd   2018-01-09 21:41



  相关主题

python里实现一个简单的决策树   1回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

随机森林是如何计算测试样本的概率的?   1回答

随机森林回归   1回答

随机森林的模型一般都很大么?   1回答

剪枝是什么意思   1回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

Extra Tree算法   1回答

怎么理解随机森林的oob error?   2回答

决策树怎么做增量学习或者online学习?   1回答

决策回归树   2回答

如果采用非等权重的方法集成一个随机森林,会表现得更好嘛?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!