评价此页

torch.nn.functional.glu#

torch.nn.functional.glu(input, dim=-1) Tensor[源代码]#

门控线性单元。计算

GLU(a,b)=aσ(b)\text{GLU}(a, b) = a \otimes \sigma(b)

其中,`input` 沿 `dim` 维度被分成两半,形成 `a` 和 `b`,σ\sigma 是 sigmoid 函数,\otimes 是矩阵间的逐元素乘积。

请参阅 使用门控卷积网络的语言建模

参数
  • input (Tensor) – 输入张量

  • dim (int) – 用于分割输入的维度。默认值:-1

返回类型

张量