XGBoost使用hyperop调参的度量集

  统计/机器学习 模型验证    浏览次数:4409        分享
0

我使用hyperopt对xgboost模型调参,想请教一下,当度量标准是准确率的负数即(fmin(-accuracy))的时候,是使用的验证集上的准确率还是测试集上的准确率。


另外我在一批测试集上测试的模型准确率达到了90%,另选了一批测试集准确率只有百分之77%。是否合理? 模型出现了什么问题,导致的泛化不好。ps: 测试集并没有进入模型训练。

 

Scarlett   2019-06-03 14:23



   1个回答 
0

模型尽量不要用准确率做评估。对于二分类模型,划分正负样本的这个阈值,直接定0.5不一定最优,auc更合适一些。二分类模型本质上是排序模型,强行定义了一个阈值不合适,这样不稳定。推荐用auc做度量

hyperopt的fmin迭代模型的函数不是你自己定义的吗?具体返回的值肯定要看你自己的设置呀。

SofaSofa数据科学社区DS面试题库 DS面经

蚂蚁不在线   2019-08-02 15:50



  相关讨论

xgboost里怎么使用KS值?

到底什么时候用lightgbm什么时候用xgb

xgboost里的每棵树是不是等权重的?

xgboost展开到二阶导数有什么好处啊

xgboost中的决策树的复杂度是怎么定义的?

xgboost为什么会有seed?随机性体现在哪里?

GBDT和XGBoost在叶子节点权重计算上有什么不同?

xgboost怎么调参?

为什么lightgbm比xgb快?

xgboost是怎么做到regularization的?

  随便看看

sklearn r2_score返回负数

在使用PCA降维时,有哪些坑?

T检验的effect size是什么?有什么含义吗?

怎么计算(估计)ROC AUC的置信区间?

怎么在jupyter notebook里查看python的版本?