torch.nn.functional

创建于: Jun 11, 2019 | 最后更新于: Dec 08, 2025

卷积函数

conv1d	对由多个输入平面组成的输入信号进行1D卷积操作。
conv2d	对由多个输入平面组成的输入图像应用二维卷积。
conv3d	对由多个输入平面组成的输入图像应用三维卷积。
conv_transpose1d	对由多个输入平面组成的输入信号应用一维转置卷积算子，有时也称为“反卷积”。
conv_transpose2d	对由多个输入平面组成的输入图像应用二维转置卷积算子，有时也称为“反卷积”。
conv_transpose3d	对由多个输入平面组成的输入图像应用三维转置卷积算子，有时也称为“反卷积”。
unfold	从批量输入张量中提取滑动局部块。
fold	将一系列滑动局部块组合成一个大的包含张量。

池化函数

avg_pool1d	对由多个输入平面组成的输入信号进行1D平均池化操作。
avg_pool2d	在 $kH \times kW$ 区域上应用二维平均池化操作，步长为 $sH \times sW$。
avg_pool3d	在 $kT \times kH \times kW$ 区域上应用三维平均池化操作，步长为 $sT \times sH \times sW$。
max_pool1d	对由多个输入平面组成的输入信号应用 1D 最大池化。
max_pool2d	在由多个输入平面组成的输入信号上应用 2D 最大池化。
max_pool3d	对由多个输入平面组成的输入信号应用 3D 最大池化。
max_unpool1d	计算 MaxPool1d 的部分逆运算。
max_unpool2d	计算 MaxPool2d 的部分逆运算。
max_unpool3d	计算 MaxPool3d 的部分逆运算。
lp_pool1d	对由多个输入平面组成的输入信号应用一维功率平均池化。
lp_pool2d	对由多个输入平面组成的输入信号应用二维功率平均池化。
lp_pool3d	对由多个输入平面组成的输入信号应用三维功率平均池化。
adaptive_max_pool1d	对由多个输入平面组成的输入信号应用 1D 自适应最大池化。
adaptive_max_pool2d	对由多个输入平面组成的输入信号应用 2D 自适应最大池化。
adaptive_max_pool3d	对由多个输入平面组成的输入信号应用 3D 自适应最大池化。
adaptive_avg_pool1d	对由多个输入平面组成的输入信号应用 1D 自适应平均池化。
adaptive_avg_pool2d	对由多个输入平面组成的输入信号应用二维自适应平均池化。
adaptive_avg_pool3d	对由多个输入平面组成的输入信号应用三维自适应平均池化。
fractional_max_pool2d	对由多个输入平面组成的输入信号应用二维分数最大池化。
fractional_max_pool3d	对由多个输入平面组成的输入信号应用三维分数最大池化。

注意力机制

torch.nn.attention.bias 模块包含用于 scaled_dot_product_attention 的 attention_biases。

scaled_dot_product_attention

scaled_dot_product_attention(query, key, value, attn_mask=None, dropout_p=0.0,

非线性激活函数

threshold	对输入张量的每个元素应用阈值。
threshold_	threshold() 的原地版本。
relu	逐元素应用线性整流单元函数。
relu_	relu() 的原地版本。
hardtanh	逐元素应用 HardTanh 函数。
hardtanh_	hardtanh() 的原地版本。
hardswish	按元素应用 hardswish 函数。
relu6	按元素应用函数 $\text{ReLU6}(x) = \min(\max(0,x), 6)$。
elu	按元素应用指数线性单元 (ELU) 函数。
elu_	elu() 的原地版本。
selu	按元素应用 $\text{SELU}(x) = scale * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$ 函数，其中 $\alpha=1.6732632423543772848170429916717$ 和 $scale=1.0507009873554804934193349852946$。
celu	按元素应用 $\text{CELU}(x) = \max(0,x) + \min(0, \alpha * (\exp(x/\alpha) - 1))$ 函数。
leaky_relu	按元素应用 $\text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x)$ 函数。
leaky_relu_	leaky_relu() 的原地版本。
prelu	按元素应用函数 $\text{PReLU}(x) = \max(0,x) + \text{weight} * \min(0,x)$，其中 weight 是一个可学习的参数。
rrelu	随机 Leaky ReLU。
rrelu_	rrelu() 的原地版本。
glu	门控线性单元。
gelu	当 approximate 参数为 'none' 时，它按元素应用函数 $\text{GELU}(x) = x * \Phi(x)$。
logsigmoid	按元素应用 $\text{LogSigmoid}(x_i) = \log \left(\frac{1}{1 + \exp(-x_i)}\right)$ 函数。
hardshrink	按元素应用 hard shrinkage 函数。
tanhshrink	按元素应用 $\text{Tanhshrink}(x) = x - \text{Tanh}(x)$ 函数。
softsign	按元素应用函数 $\text{SoftSign}(x) = \frac{x}{1 + |x|}$ 函数。
softplus	按元素应用函数 $\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$ 函数。
softmin	应用 softmin 函数。
softmax	应用 softmax 函数。
softshrink	按元素应用 soft shrinkage 函数。
gumbel_softmax	从 Gumbel-Softmax 分布 (链接 1 链接 2) 中采样，并可选择离散化。
log_softmax	应用 softmax 然后取对数。
tanh	按元素应用 $\text{Tanh}(x) = \tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}$ 函数。
sigmoid	按元素应用 $\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}$ 函数。
hardsigmoid	应用 Hardsigmoid 函数，按元素进行。
silu	按元素应用 Sigmoid Linear Unit (SiLU) 函数。
mish	按元素应用 Mish 函数。
batch_norm	对一批数据中的每个通道应用批量归一化。
group_norm	对最后若干维应用组归一化。
instance_norm	对批次中每个数据样本的每个通道独立应用实例归一化。
layer_norm	对最后若干维应用层归一化。
local_response_norm	在输入信号上应用局部响应归一化。
rms_norm	应用均方根层归一化。
normalize	在指定维度上对输入执行 $L_p$ 归一化。

线性函数

linear	对传入数据应用线性变换： $y = xA^T + b$。
bilinear	对传入数据应用双线性变换： $y = x_1^T A x_2 + b$。

Dropout函数

dropout	在训练期间，以概率 p 随机将输入张量中的某些元素置零。
alpha_dropout	对输入应用 alpha dropout。
feature_alpha_dropout	随机屏蔽掉整个通道（通道是特征图）。
dropout1d	随机将整个通道（通道是1D特征图）置零。
dropout2d	随机将整个通道（通道是2D特征图）置零。
dropout3d	随机将整个通道（通道是3D特征图）置零。

稀疏函数

embedding	生成一个简单的查找表，用于在固定字典和大小中查找嵌入。
embedding_bag	计算嵌入“包”的总和、平均值或最大值。
one_hot	接收形状为 (*) 的索引值的 LongTensor，并返回一个形状为 (*, num_classes) 的张量，该张量在除最后一个维度索引匹配输入张量对应值的位置外，其余位置均为零，在该位置为1。

距离函数

pairwise_distance	有关详细信息，请参阅 torch.nn.PairwiseDistance。
cosine_similarity	沿指定维度返回 x1 和 x2 之间的余弦相似度。
pdist	计算输入中每对行向量之间的p范数距离。

损失函数

binary_cross_entropy	计算目标和输入概率之间的二元交叉熵。
binary_cross_entropy_with_logits	计算目标和输入 logits 之间的二元交叉熵。
poisson_nll_loss	计算泊松负对数似然损失。
cosine_embedding_loss	计算余弦嵌入损失。
cross_entropy	计算输入 logits 和目标之间的交叉熵损失。
ctc_loss	计算连接时序分类（CTC）损失。
gaussian_nll_loss	计算高斯负对数似然损失。
hinge_embedding_loss	计算合页嵌入损失。
kl_div	计算 KL 散度损失。
l1_loss	计算 L1 损失，可选择加权。
mse_loss	计算逐元素的均方误差，可选择加权。
margin_ranking_loss	计算边距排序损失。
multilabel_margin_loss	计算多标签边距损失。
multilabel_soft_margin_loss	计算多标签软边距损失。
multi_margin_loss	计算多类边距损失，可选择加权。
nll_loss	计算负对数似然损失。
huber_loss	计算 Huber 损失，可选择加权。
smooth_l1_loss	计算平滑 L1 损失。
soft_margin_loss	计算软边距损失。
triplet_margin_loss	计算给定输入张量与大于 0 的边距之间的三元组损失。
triplet_margin_with_distance_loss	使用自定义距离函数计算输入张量之间的三元组边距损失。

视觉函数

pixel_shuffle	将形状为 $(*, C \times r^2, H, W)$ 的张量重新排列为形状为 $(*, C, H \times r, W \times r)$ 的张量，其中 r 是 upscale_factor。
pixel_unshuffle	反向执行 PixelShuffle 操作，将形状为 $(*, C, H \times r, W \times r)$ 的张量重新排列为形状为 $(*, C \times r^2, H, W)$ 的张量，其中 r 是 downscale_factor。
pad	填充张量。
interpolate	对输入进行下采样/上采样。
upsample	上采样输入。
upsample_nearest	使用最近邻像素值对输入进行上采样。
upsample_bilinear	使用双线性上采样对输入进行上采样。
grid_sample	计算网格采样。
affine_grid	给定一批仿射变换矩阵 theta，生成二维或三维流场（采样网格）。

数据并行函数（多 GPU，分布式）

data_parallel

torch.nn.parallel.data_parallel

在 device_ids 中指定的 GPU 上并行评估 module(input)。

低精度函数

ScalingType	是 _ScalingType 的别名。
SwizzleType	是 _SwizzleType 的别名。
grouped_mm	计算分组矩阵乘法，该乘法在专家之间共享权重形状，但允许每个专家具有不规则的 token 计数，这在混合专家（MoE）层中很常见。
scaled_mm	scaled_mm(mat_a, mat_b, scale_a, scale_recipe_a, scale_b, scale_recipe_b, swizzle_a, swizzle_b, bias, output_dtype,
scaled_grouped_mm	scaled_grouped_mm(mat_a, mat_b, scale_a, scale_recipe_a, scale_b, scale_recipe_b, swizzle_a, swizzle_b, bias, offs,