评价此页

ConvTranspose2d#

class torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride=1, padding=0, output_padding=0, groups=1, bias=True, dilation=1, padding_mode='zeros', device=None, dtype=None)[source]#

对由多个输入平面组成的输入图像应用 2D 转置卷积运算符。

该模块可以被视为 Conv2d 相对于其输入的梯度。它也称为分数步长卷积或反卷积(尽管它不是真正的反卷积运算,因为它不计算卷积的真实逆)。有关更多信息,请参见 这里的可视化反卷积网络 论文。

此模块支持 TensorFloat32

在某些 ROCm 设备上,当使用 float16 输入时,此模块将对反向传播使用不同精度

  • stride 控制着交叉相关的步长。当 stride > 1 时,ConvTranspose2d 在将卷积核应用于空间维度之前,会在输入元素之间插入零。这种零插入操作是转置卷积的标准行为,它可以增加空间分辨率,等同于可学习的上采样操作。

  • padding 控制着 dilation * (kernel_size - 1) - padding 个点上的隐式零填充量。更多细节请参见下面的注释。

  • output_padding 控制添加到输出形状一侧的额外尺寸。有关详细信息,请参见下面的注释。

  • dilation 控制着核点之间的间距;也称为空洞卷积算法。这比较难描述,但 这里的链接 有一个关于 dilation 作用的漂亮可视化。

  • groups 控制着输入和输出之间的连接。`in_channels` 和 `out_channels` 都必须能被 `groups` 整除。例如,

    • 当 groups=1 时,所有输入都会与所有输出进行卷积。

    • 当 groups=2 时,操作相当于有两个并排的卷积层,每个层看到一半的输入通道并产生一半的输出通道,然后将两者连接起来。

    • 当 groups = in_channels 时,每个输入通道都与自己的滤波器集(大小为 out_channelsin_channels\frac{\text{out\_channels}}{\text{in\_channels}})进行卷积。

参数 kernel_sizestridepaddingoutput_padding 可以是

  • 单个 int — 此时,高度和宽度维度使用相同的值。

  • 两个 int 的 tuple – 在这种情况下,第一个 int 用于高度维度,第二个 int 用于宽度维度

注意

padding 参数有效地在输入的两个尺寸上添加了 dilation * (kernel_size - 1) - padding 数量的零填充。这样设置是为了使 Conv2dConvTranspose2d 在使用相同参数初始化时,它们在输入和输出形状方面互为逆运算。但是,当 stride > 1 时,Conv2d 会将多个输入形状映射到同一个输出形状。output_padding 用于解决这种歧义,通过有效地在一侧增加计算出的输出形状。请注意,output_padding 仅用于确定输出形状,而不会实际向输出添加零填充。

注意

在某些情况下,当在 CUDA 设备上使用 CuDNN 并给定张量时,此算子可能会选择一个非确定性算法来提高性能。如果这是不期望的,您可以尝试通过设置 torch.backends.cudnn.deterministic = True 来使操作确定性(可能会牺牲性能)。有关更多信息,请参阅 Reproducibility

参数
  • in_channels (int) – 输入图像中的通道数

  • out_channels (int) – 卷积产生的通道数

  • kernel_size (inttuple) – 卷积核的大小

  • stride (inttuple, 可选) – 卷积的步幅。默认为 1

  • padding (inttuple, 可选) – 将在输入的每个维度两侧添加 dilation * (kernel_size - 1) - padding 的零填充。默认为 0

  • output_padding (inttuple, 可选) – 添加到输出形状每个维度一侧的额外大小。默认为 0

  • groups (int, 可选) – 从输入通道到输出通道的阻塞连接数。默认为 1

  • bias (bool, 可选) – 如果为 True,则向输出添加可学习的偏置。默认为 True

  • dilation (inttuple, 可选) – 内核元素之间的间距。默认为 1

形状
  • 输入: (N,Cin,Hin,Win)(N, C_{in}, H_{in}, W_{in})(Cin,Hin,Win)(C_{in}, H_{in}, W_{in})

  • 输出: (N,Cout,Hout,Wout)(N, C_{out}, H_{out}, W_{out})(Cout,Hout,Wout)(C_{out}, H_{out}, W_{out}),其中

Hout=(Hin1)×stride[0]2×padding[0]+dilation[0]×(kernel_size[0]1)+output_padding[0]+1H_{out} = (H_{in} - 1) \times \text{stride}[0] - 2 \times \text{padding}[0] + \text{dilation}[0] \times (\text{kernel\_size}[0] - 1) + \text{output\_padding}[0] + 1
Wout=(Win1)×stride[1]2×padding[1]+dilation[1]×(kernel_size[1]1)+output_padding[1]+1W_{out} = (W_{in} - 1) \times \text{stride}[1] - 2 \times \text{padding}[1] + \text{dilation}[1] \times (\text{kernel\_size}[1] - 1) + \text{output\_padding}[1] + 1
变量
  • weight (Tensor) – 模块的可学习权重,形状为 (in_channels,out_channelsgroups,(\text{in\_channels}, \frac{\text{out\_channels}}{\text{groups}}, kernel_size[0],kernel_size[1])\text{kernel\_size[0]}, \text{kernel\_size[1]})。这些权重的取值是从 U(k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 采样得到,其中 k=groupsCouti=01kernel_size[i]k = \frac{groups}{C_\text{out} * \prod_{i=0}^{1}\text{kernel\_size}[i]}

  • bias (Tensor) – 模块的可学习偏置,形状为 (out_channels)。如果 biasTrue,则这些权重的取值从 U(k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 中采样,其中 k=groupsCouti=01kernel_size[i]k = \frac{groups}{C_\text{out} * \prod_{i=0}^{1}\text{kernel\_size}[i]} 中,k=groupsCouti=01kernel_size[i]k = \frac{groups}{C_\text{out} * \prod_{i=0}^{1}\text{kernel\_size}[i]}

示例

>>> # With square kernels and equal stride
>>> m = nn.ConvTranspose2d(16, 33, 3, stride=2)
>>> # non-square kernels and unequal stride and with padding
>>> m = nn.ConvTranspose2d(16, 33, (3, 5), stride=(2, 1), padding=(4, 2))
>>> input = torch.randn(20, 16, 50, 100)
>>> output = m(input)
>>> # exact output size can be also specified as an argument
>>> input = torch.randn(1, 16, 12, 12)
>>> downsample = nn.Conv2d(16, 16, 3, stride=2, padding=1)
>>> upsample = nn.ConvTranspose2d(16, 16, 3, stride=2, padding=1)
>>> h = downsample(input)
>>> h.size()
torch.Size([1, 16, 6, 6])
>>> output = upsample(h, output_size=input.size())
>>> output.size()
torch.Size([1, 16, 12, 12])
forward(input, output_size=None)[源]#

执行前向传播。

变量
  • input (Tensor) – 输入张量。

  • output_size (list[int], optional) – 表示输出张量大小的整数列表。默认为 None。

返回类型

张量