关于那个autoencode有没有出来解惑一下的。

  板凳区    浏览次数: 64
0

@SofaSofa TeamM

关于那个autoencoder的教程,我们得到了MAE,MSE,以及原标签

然后画ROC_AUC.

# 画出ROC曲线


官方ROC-curve文档说的是,


这个mse是不是就是这个决策的非阈值测量?(预测概率是0-1的小数,mse应该是无界的吧?)

还有关于怎么修改分类的阈值,这个阈值返回一串子,是什么东西




 

陈十一   2018-10-10 10:55



   3个回答 
0

还有啊,这个是将有监督换成无监督来测验分类的效果

那无监督,最后只能得到一个还原误差,怎么知道截断点在哪

陈十一   2018-10-10 11:25

0

你可以把还原误差想象为“概率”的。如果你用predict_proba得到一串概率,那你的截断点在哪儿?

如果你把每个可行的截断点都试一遍,是不是就得到了很多precision和recall,连起来不就是precession-recall的曲线嘛

同理,你也可以得到很多的FPR和TPR,连起来就是ROC曲线了


对于概率,你知道你的截断点是0.5,但是往往你也可以自己设置一个截断点。这里是还原误差,你可以设置数值,也可以设置为X百分位点,默认其中百分之X都是异常。

wxw_pku   2018-10-10 13:44

0-1,设置大于0.5概率。但还原误差 并不是一个概率分布,只是一个差值,一个离散程度,可以小于1,大于1。如实例中,本身有标签,可以去逼近去选择截断点的还原误差值。那么真实的无监督,怎么判断这个截断点是多少 - 陈十一   2018-10-10 14:15
0

在真实情况下,这个截断点的选择要么是根据前提信息(prior info),要么是根据真实的异常值在roc曲线或者pr曲线上选择截断点的。

这一点是和稀疏情况下的二元分类问题类似的,在非平衡状态下,一般不会用0.5作为阈值点,而是根据业务需求来选择截断点。即使是平衡的二元分类问题,有时也会选择其他阈值,而非总是固定在0.5。

总体上来说,这是precision和recall的trade-off,或者是TPR和FPR的trade-off。取决于整个商业决策是保守还是激进等因素。

SofaSofa驹炜   2018-10-11 08:49



  相关主题

地震测评指标   1回答

求教一下:怎么进阶   1回答

大家跑模型都用的什么牌子的笔记本   6回答

有没有赚外快的方法啊   4回答

【招】融360招聘中高级数据分析师   0回答

【招】C轮独角兽招聘算法工程师   1回答

找DS或者ML相关工作leetcode要刷到什么程度?   2回答

【招】上海思明文化传播有限公司招聘机器学习/深度学习专才   0回答

【招聘】华为2012实验室机器学习岗位招聘   0回答

【招】第四范式机器学习系统工程师   0回答

【招】计算机视觉专家月薪6万起   0回答

怎么和领导说自己的模型很好?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!