如何理解xgboost與cart節點分數?

  统计/机器学习 监督式学习 损失函数    浏览次数: 278
0

各位好,最近在了解xgboost的方法論,推導過程看得滿順暢的,唯有幾點不太清楚

望各位大神指點


從這張圖可以知道,cart與tree ensemble就是把每一個樣本特徵對應到每顆樹的節點分數加起來,就是預測結果

但是這個分數該怎麼轉化為分類?(應該或說每個分類的機率)

而且如果一直迭代出新樹,分數不就爆表了嗎?

感謝各位

 

alexlau   2017-12-26 14:18



   1个回答 
0

我回答下你最后一个问题。

而且如果一直迭代出新樹,分數不就爆表了嗎?

------

一直迭代出新树,训练误差当然会降低,但是测试误差(泛化误差)未必会降低,因为模型就overfit了。

所以我们需要控制树的最大深度(max_depth)。


蘑菇蘑菇   2017-12-26 14:50



  相关主题

xgboost怎么调参?   8回答

为什么lightgbm比xgb快?   2回答

stack多个xgboost效果并不理想   3回答

xgboost是怎么做到regularization的?   2回答

相比xgboost,GBDT有什么优势   2回答

xgboost的FIT问题   1回答

xgboost中的参数min_child_weight是什么意思?   1回答

把XGBRegressor保存到本地文件并调用   1回答

训练值都是正的,xgboost regression却预测出负数?   4回答

为啥Xgboost比GradientBoost好那么多?   4回答

xgboost可以做回归预测吗?   2回答

XGBClassifier设置random_state报错   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!