GLU

class torch.nn.GLU(dim=-1)

应用门控线性单元函数。

${GLU}(a; b)= a \otimes \sigma(b)$，其中 $a$ 是输入矩阵的前一半，$b$ 是后一半。

参数

dim (int) – 输入分割的维度。默认为 -1

形状

• 输入：$(\ast_1, N, \ast_2)$，其中 * 表示任意数量的额外维度

• 输出：$(\ast_1, M, \ast_2)$，其中 $M=N/2$

示例

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)