决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数:3149        分享
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
2

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

SofaSofa数据科学社区DS面试题库 DS面经

gsscsd   2018-01-09 21:41



  相关主题

决策树的深度和数据特征个数的关系   1回答

决策树可以做多元分类吗?   1回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

Extra Tree算法   1回答

决策树算法ID3,C4.5和CART的特点、异同?   3回答

Adaboost里的树有没有可能权重是负数?   1回答

请教lightGBM中的level wise具体计算步骤是怎样的?   1回答

随机森林中增加树的数量对于偏差和方差的影响   2回答

lightgbm使用自定义损失函数后,二分类的预测结果不再是【0,1】区间   0回答

关于knn算法中kd树的问题   1回答

如果采用非等权重的方法集成一个随机森林,会表现得更好嘛?   1回答

gbdt为什么需要泰勒公式展开进行节点分裂计算   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!