损失函数-交叉熵（多分类） 作者：马育民 • 2019-10-31 15:34 • 阅读：10338 # 交叉熵 用于处理 **逻辑回归** 问题 交叉熵刻画的是 **实际输出（概率）** 与 **期望输出（概率）** 的**距离**，也就是交叉熵的值 **越小**，两个概率分布就 **越接近**。 假设概率分布 **p** 为真实值， **q** 为实际输出，**H(p,q)** 为交叉熵，**公式如下**： [](https://www.malaoshi.top/upload/0/0/1EF3xMC4l6AO.png) 放大概率分布之间的损失 ### 例子 假设有4个样本，目标值，预测的概率值如下： |样本 |真实值 |输出值 | | ------------ | ------------ | ------------ | |x1 |1 |0.6 | |x2 |0 |0.1 | |x3 |0 |0.5(此概率与目标值不符) | |x4 |1 |0.8 | 计算如下： ``` -(1*log(0.6)+0*log(0.1)+0*log(0.5)+1*log(0.8)) ``` 结果越小，越准确 # keras中的交叉熵 ### 多分类交叉熵损失函数 1. 目标值是顺序数字的，如：1,2,3,4 ``` sparse_categorical_crossentropy ``` 详见：https://www.malaoshi.top/show_1EF5F1ygQuiB.html 2. 目标值是one-hot独热编码的 ``` categorical_crossentropy ``` 详见：https://www.malaoshi.top/show_1EF5F1s5lR6z.html 感谢： https://blog.csdn.net/qq_43258953/article/details/103642353 原文出处：http://malaoshi.top/show_1EF4La0KENhc.html