SmoothL1Loss#

class torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)[source]#

创建一个标准，当元素级误差的绝对值小于beta时使用平方项，否则使用L1项。它比torch.nn.MSELoss对异常值不太敏感，在某些情况下可以防止梯度爆炸（例如，请参阅Ross Girshick的论文 Fast R-CNN）。

对于大小为 $N$ 的批次，未约减的损失可描述为：

\ell(x, y) = L = \{l_1, ..., l_N\}^T

替换

l_n = \begin{cases} 0.5 (x_n - y_n)^2 / beta, & \text{if } |x_n - y_n| < beta \\ |x_n - y_n| - 0.5 * beta, & \text{otherwise } \end{cases}

如果reduction不是none，则

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{‘mean’;}\\ \operatorname{sum}(L), & \text{if reduction} = \text{‘sum’.} \end{cases}

注意

平滑L1损失可以看作是精确的L1Loss，但是将 $|x - y| < beta$ 部分替换为二次函数，使其在 $|x - y| = beta$ 时的斜率为1。二次段平滑了L1损失在 $|x - y| = 0$ 附近的区域。

注意

Smooth L1 loss与HuberLoss密切相关，相当于 $huber(x, y) / beta$ （请注意，Smooth L1的beta超参数也称为Huber的delta）。这导致了以下区别：

当beta -> 0时，Smooth L1 loss收敛到L1Loss，而HuberLoss收敛到常数0损失。当beta为0时，Smooth L1 loss等同于L1 loss。
当beta -> $+\infty$ 时，Smooth L1 loss收敛到常数0损失，而HuberLoss收敛到MSELoss。
对于Smooth L1 loss，当beta变化时，损失的L1部分具有恒定的斜率1。对于HuberLoss，L1部分的斜率为beta。

参数

size_average (bool, optional) – 已弃用（参见reduction）。默认情况下，损失会根据批次中的每个损失元素进行平均。请注意，对于某些损失，每个样本有多个元素。如果将size_average字段设置为False，则损失会按每个小批量求和。如果reduce为False，则忽略此参数。默认为True
reduce (bool, optional) – 已弃用（参见reduction）。默认情况下，损失会根据size_average在观测值上进行平均或求和。当reduce为False时，返回每个批次元素的损失，并忽略size_average。默认为True
reduction (str, optional) – 指定要应用于输出的缩减方式：'none' | 'mean' | 'sum'。'none'：不应用缩减；'mean'：输出的总和除以输出中的元素数量；'sum'：输出将被求和。注意：size_average和reduce正在被弃用，在此期间，指定这两个参数中的任何一个都会覆盖reduction。默认为'mean'
beta (float, optional) – 指定在L1和L2损失之间切换的阈值。该值必须为非负数。默认为1.0

形状

文档