torch.nn.functional.kl_div

torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False)

计算 KL 散度损失。

参考 - Kullback-Leibler 散度损失

有关详细信息，请参阅 KLDivLoss。

参数

• input (Tensor) – 对数概率的任意形状的张量。

• target (Tensor) – 与 input 相同形状的张量。有关 target 的解释，请参阅 log_target。

• size_average (bool, optional) – 已弃用（请参阅 reduction）。

• reduce (bool, optional) – 已弃用（请参阅 reduction）。

• reduction (str, optional) – 指定应用于输出的归约方式：'none' | 'batchmean' | 'sum' | 'mean'。'none'：不应用任何归约。'batchmean'：输出的总和除以 batchsize。'sum'：对输出求和。'mean'：输出除以输出中的元素数量。 默认为：'mean'

• log_target (bool) – 指示 target 是否以对数空间传递的标志。建议将某些分布（如 softmax）以对数空间传递，以避免由显式 log 引起数值问题。默认为：False

返回类型

张量

注意

size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。

警告

reduction = 'mean' 不返回真正的 KL 散度值，请使用 reduction = 'batchmean'，它符合 KL 的数学定义。