cross entropy是什么意思?

  统计/机器学习 监督式学习 损失函数    浏览次数: 644
1

cross entropy是什么意思?


 

ggg818   2017-11-27 11:13



   1个回答 
3

entropy是用于表示二元分类器的误差,而cross entropy则用于表示多元分类器的误差。

对于一个用$n$的测试样本的$k$元分类器,那么cross entropy的计算公式如下:

$$CrossEntropy=-\frac{1}{n}\sum_{i=1}^n \sum_{j=1}^ky_{i,j}\log p_{i,j}$$

比如一个三元分类问题,有两个测试样本,第一个样本:

预测出来的概率为$(0.5, 0.3, 0.2)$,实际标签为$2$,写成one-hot的形式是$(0,1,0)$;

第二个样本:

预测出来概率为$(0.6, 0.1, 0.3)$,实际标签为$1$,one-hot的形式为$(1, 0, 0)$

那么cross-entropy为

$$-\frac{1}{2}(1\times \log(0.3)+ 1\times\log(0.6))$$


SofaSofa数据科学社区 DS面经 问答 实战

abuu   2017-12-13 10:36



  相关主题

怎么理解surrogate loss function代理损失函数?   2回答

Hamming Loss汉明损失的计算公式是什么?   1回答

二元分类为什么不能用MSE做为损失函数?   6回答

关于损失函数h(x), J(x), cost的概念问题   1回答

logloss的取值范围是多少?一般好的分类器能达到多少?   5回答

如何理解GBDT里面“损失函数的负梯度在当前模型的值,可以作为残差的估计”?   1回答

python求logloss   1回答

focal loss是什么?   0回答

hinge loss的公式是什么?   1回答

Gini指数、Gini系数、Gini不纯是一回事吗?   2回答

用SGD计算逻辑回归时的迭代公式是什么?   2回答

LR中若标签为+1和-1,损失函数如何推导,求大佬解答   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!