XGBoost使用hyperop调参的度量集

  统计/机器学习 模型验证    浏览次数:1953        分享
0

我使用hyperopt对xgboost模型调参,想请教一下,当度量标准是准确率的负数即(fmin(-accuracy))的时候,是使用的验证集上的准确率还是测试集上的准确率。


另外我在一批测试集上测试的模型准确率达到了90%,另选了一批测试集准确率只有百分之77%。是否合理? 模型出现了什么问题,导致的泛化不好。ps: 测试集并没有进入模型训练。

 

Scarlett   2019-06-03 14:23



   1个回答 
0

模型尽量不要用准确率做评估。对于二分类模型,划分正负样本的这个阈值,直接定0.5不一定最优,auc更合适一些。二分类模型本质上是排序模型,强行定义了一个阈值不合适,这样不稳定。推荐用auc做度量

hyperopt的fmin迭代模型的函数不是你自己定义的吗?具体返回的值肯定要看你自己的设置呀。

SofaSofa数据科学社区DS面试题库 DS面经

蚂蚁不在线   2019-08-02 15:50



  相关主题

xgboost中的决策树的复杂度是怎么定义的?   2回答

请教:xgboost的目标公式如何理解?   1回答

怎么利用permutation importance来解释xgboost模型的特征?   2回答

为啥Xgboost比GradientBoost好那么多?   6回答

xgboost可以做回归预测吗?   2回答

xgboost里怎么使用KS值?   1回答

GBDT和XGBoost使用的都是回归树,原理上是怎么支持解决分类问题的?   1回答

xgboost为什么会有seed?随机性体现在哪里?   2回答

xgboost中的参数min_child_weight是什么意思?   1回答

如何理解xgboost與cart節點分數?   2回答

到底什么时候用lightgbm什么时候用xgb   2回答

对于xgboost,还有必要做很多特征工程吗?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!