torch.nn.functional.kl_div#
- torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False)[source]#
计算KL散度损失。
参考 - Kullback-Leibler散度损失
详情请参见
KLDivLoss。- 参数
input (Tensor) – 对数概率的任意形状的张量。
target (Tensor) – 与input形状相同的张量。关于target的解释，请参阅
log_target。size_average (bool, optional) – 已弃用（请参阅
reduction）。reduce (bool, optional) – 已弃用（请参阅
reduction）。reduction (str, optional) – 指定应用于输出的归约方式：
'none'|'batchmean'|'sum'|'mean'。'none'：不应用归约。'batchmean'：输出的总和除以批次大小。'sum'：对输出求和。'mean'：输出除以输出中的元素数量。默认为：'mean'。log_target (bool) – 指示
target是否以对数空间传递的标志。建议将某些分布（如softmax）以对数空间传递，以避免显式log引起的数值问题。默认为：False。
- 返回类型
注意
size_average和reduce正在被弃用，在此期间，指定这两个参数中的任何一个都会覆盖reduction。警告
reduction='mean'不返回真实的 KL 散度值，请使用reduction='batchmean'，这与 KL 数学定义一致。