cross_entropy¶

paddle.nn.functional. cross_entropy ( input, label, weight=None, ignore_index=- 100, reduction='mean', soft_label=False, label_smoothing=0.0, axis=- 1, name=None ) ¶

实现了 softmax 交叉熵损失函数。该函数会将 softmax 操作、交叉熵损失函数的计算过程进行合并，从而提供了数值上更稳定的计算。

默认会对结果进行求 mean 计算，您也可以影响该默认行为，具体参考 reduction 参数说明。

可用于计算硬标签或软标签的交叉熵。其中，硬标签是指实际 label 值，例如：0, 1, 2...，软标签是指实际 label 的概率，例如：0.6, 0,8, 0,2...

计算包括以下两个步骤：

• 一、softmax 交叉熵

1. 硬标签（每个样本仅可分到一个类别）

   \[\begin{split}\\loss_j=-\text{logits}_{label_j}+\log\left(\sum_{i=0}^{C}\exp(\text{logits}_i)\right) , j = 1,...,N, N 为样本数，C 为类别数\end{split}\]

2. 软标签（每个样本以一定的概率被分配至多个类别中，概率和为 1）

   \[\begin{split}\\loss_j=-\sum_{i=0}^{C}\text{label}_i\left(\text{logits}_i-\log\left(\sum_{i=0}^{C}\exp(\text{logits}_i)\right)\right) , j = 1,...,N, N 为样本数，C 为类别数\end{split}\]

• 二、weight 及 reduction 处理

1. weight 情况

如果 weight 参数为 None，则直接进入下一步。

如果 weight 参数不为 None，则对每个样本的交叉熵进行 weight 加权(区分 soft_label = False or True):

1.1 硬标签情况(soft_label = False)

\[\begin{split}\\loss_j=loss_j*weight[label_j]\end{split}\]

1.2 软标签情况(soft_label = True)

\[\begin{split}\\loss_j=loss_j*\sum_{i}\left(weight[label_i]*logits_i\right)\end{split}\]

2. reduction 情况

2.1 如果 reduction 参数为 none

则直接返回上一步结果

2.2 如果 reduction 参数为 sum

则返回上一步结果的和

\[\begin{split}\\loss=\sum_{j}loss_j\end{split}\]

2.3 如果 reduction 参数为 mean，则根据 weight 参数情况进行处理：

2.3.1 如果 weight 参数为 None

则返回上一步结果的平均值

\[\begin{split}\\loss=\sum_{j}loss_j/N, N 为样本数\end{split}\]

2.3.2 如果 weight 参数不为 None，则返回上一步结果的加权平均值

1. 硬标签情况(soft_label = False)

\[\begin{split}\\loss=\sum_{j}loss_j/\sum_{j}weight[label_j]\end{split}\]

2. 软标签情况(soft_label = True)

\[\begin{split}\\loss=\sum_{j}loss_j/\sum_{j}\left(\sum_{i}weight[label_i]\right)\end{split}\]