关于训练时候loss一开始就很低?

  统计/机器学习 监督式学习 深度学习 模型验证 开放问题    浏览次数:781        分享
0

模型跑起来,loss就很低,但看结果好像是对的,

Iteration 10: loss=0.02

Iteration 20: loss=0.02

Iteration 30: loss=0.02

Iteration 40: loss=0.01

Iteration 50: loss=0.01

刚接触机器学习,不知道这种情况正常不。。。

 

curiositychen   2022-05-01 09:19



   1个回答 
0

要看你loss具体用的什么loss function了,有的loss function本身数值就很低

比如如果有用1-accuracy作为binary classification的loss,对于极度imbalance的数据,肯定初始值就很低了。

另外,建议从iteration 1开始,每10步看下Loss,这样你也清楚初始的情况;

对于很小的loss,精度可以多用几个小数位,你上面的例子就看不出来变化,因为都是小数点后面三位的优化了;

此外对比一下random guess的精度、benchmark的精度,这样才能确保你的模型是ok的。

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2022-05-01 11:58



  相关讨论

训练误差、测试误差、泛化误差的区别

当数据量很小的时候,怎么做模型验证?

请问深度学习的书有推荐吗

模型调参时常用到的Grid Search是什么意思?

建模时一定需要验证集或者测试集吗?

一个关于机器学习模型性能的问题。

数据归一化问题

为什么神经网络模型不用交叉验证?

k近邻算法(k-NN)怎么选k

多元分类可以用accuracy吗?

  随便看看

为什么自然常数e等于阶乘的倒数的和?

T检验的effect size是什么?有什么含义吗?

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?

修正R方(adjusted R square)是什么?

matplotlib一个画板上多个图叠加,如何决定图层上下?