XGBoost使用hyperop调参的度量集

  统计/机器学习 模型验证    浏览次数:918        分享
0

我使用hyperopt对xgboost模型调参,想请教一下,当度量标准是准确率的负数即(fmin(-accuracy))的时候,是使用的验证集上的准确率还是测试集上的准确率。


另外我在一批测试集上测试的模型准确率达到了90%,另选了一批测试集准确率只有百分之77%。是否合理? 模型出现了什么问题,导致的泛化不好。ps: 测试集并没有进入模型训练。

 

Scarlett   2019-06-03 14:23



   1个回答 
0

模型尽量不要用准确率做评估。对于二分类模型,划分正负样本的这个阈值,直接定0.5不一定最优,auc更合适一些。二分类模型本质上是排序模型,强行定义了一个阈值不合适,这样不稳定。推荐用auc做度量

hyperopt的fmin迭代模型的函数不是你自己定义的吗?具体返回的值肯定要看你自己的设置呀。

SofaSofa数据科学社区DS面试题库 DS面经

蚂蚁不在线   2019-08-02 15:50



  相关主题

到底什么时候用lightgbm什么时候用xgb   2回答

xgboost怎么调参?   9回答

xgboost中的参数min_child_weight是什么意思?   1回答

xgboost展开到二阶导数有什么好处啊   1回答

如果用xgboost模型,那么还需要先做feature selection吗?   3回答

既然xgboost那么好,线性回归还有存在的价值吗?   9回答

如何理解xgboost與cart節點分數?   2回答

xgboost可以做回归预测吗?   2回答

xgboost的FIT问题   1回答

xgboost里的每棵树是不是等权重的?   2回答

为什么lightgbm比xgb快?   2回答

xgboost里怎么使用KS值?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!