BCEWithLogitsLoss#

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)[source]#

此损失函数将 Sigmoid 层和 BCELoss 结合在同一个类中。与单独使用 Sigmoid 再接 BCELoss 相比，此版本在数值上更稳定，因为它将运算合并为一个层，并利用了 log-sum-exp 技巧来提高数值稳定性。

未约简的（即 reduction 设置为 'none'）损失可以描述为

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log \sigma(x_n) + (1 - y_n) \cdot \log (1 - \sigma(x_n)) \right],

其中 $N$ 是批次大小。如果 reduction 不是 'none'（默认为 'mean'），则：

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

这用于衡量例如自编码器中重建的误差。请注意，目标 t[i] 应该是介于 0 和 1 之间的数字。

通过为正例添加权重，可以权衡召回率和精确率。对于多标签分类，该损失函数可以描述为：

\ell_c(x, y) = L_c = \{l_{1,c},\dots,l_{N,c}\}^\top, \quad l_{n,c} = - w_{n,c} \left[ p_c y_{n,c} \cdot \log \sigma(x_{n,c}) + (1 - y_{n,c}) \cdot \log (1 - \sigma(x_{n,c})) \right],

其中 $c$ 是类别数（对于多标签二分类， $c > 1$ ；对于单标签二分类， $c = 1$ ）， $n$ 是批次中的样本编号， $p_c$ 是类别 $c$ 的正例权重。

$p_c > 1$ 增加召回率， $p_c < 1$ 增加精确率。

例如，如果一个数据集包含一个类别的 100 个正例和 300 个负例，那么该类的 pos_weight 应等于 $\frac{300}{100}=3$ 。损失函数将作用于数据，如同该数据集包含 $3\times 100=300$ 个正例一样。

示例

>>> target = torch.ones([10, 64], dtype=torch.float32)  # 64 classes, batch size = 10
>>> output = torch.full([10, 64], 1.5)  # A prediction (logit)
>>> pos_weight = torch.ones([64])  # All weights are equal to 1
>>> criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
>>> criterion(output, target)  # -log(sigmoid(1.5))
tensor(0.20...)

在上面的例子中，pos_weight 张量的元素对应于多标签二分类场景中的 64 个不同类别。pos_weight 中的每个元素旨在根据相应类别的负样本与正样本之间的不平衡来调整损失函数。这种方法对于具有不同类别不平衡程度的数据集非常有用，可以确保损失计算准确地考虑每个类别的分布。

参数

weight （Tensor, 可选）– 手动缩放每个批次元素损失的权重。如果指定，则必须是一个大小为 nbatch 的 Tensor。
size_average （bool, 可选）– 已弃用（请参阅 reduction）。默认情况下，损失会根据批次中的每个损失元素进行平均。请注意，对于某些损失，每个样本有多个元素。如果 size_average 字段设置为 False，则损失会根据每个小批次进行求和。当 reduce 为 False 时忽略。默认为 True。
reduce （bool, 可选）– 已弃用（请参阅 reduction）。默认情况下，损失会根据 size_average 的值，根据小批次中的观测值进行平均或求和。当 reduce 为 False 时，将返回每个批次元素的损失，并忽略 size_average。默认为 True。
reduction （str, 可选）– 指定应用于输出的归约方式：'none' | 'mean' | 'sum'。'none'：不应用归约；'mean'：输出的总和将除以输出中的元素数量；'sum'：将对输出进行求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认为 'mean'。
pos_weight （Tensor, 可选）– 一个与目标值进行广播的正样本权重。必须是一个在类别维度上大小与类别数量相等的张量。请密切注意 PyTorch 的广播语义，以实现所需的操作。对于大小为 [B, C, H, W] 的目标（其中 B 是批次大小），大小为 [B, C, H, W] 的 pos_weight 将对批次中的每个元素应用不同的 pos_weight；或者 [C, H, W] 的 pos_weight 在整个批次中应用相同的 pos_weight。要为 2D 多类目标 [C, H, W] 应用沿所有空间维度的相同正权重，请使用：[C, 1, 1]。默认为 None。

形状

输入: $(*)$ ，其中 $*$ 表示任意数量的维度。
目标: $(*)$ ，形状与输入相同。
输出: 标量。如果 reduction 是 'none'，则 $(*)$ ，形状与输入相同。

示例

>>> loss = nn.BCEWithLogitsLoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(input, target)
>>> output.backward()

BCEWithLogitsLoss#

文档

教程

资源