评价此页

Transformer#

class torch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, activation=<function relu>, custom_encoder=None, custom_decoder=None, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[source]#

一个基础的 transformer 层。

此 Transformer 层实现了最初在 Attention Is All You Need 论文中描述的 Transformer 架构。此层的意图是作为基础理解的参考实现,因此与较新的 Transformer 架构相比,它只包含有限的功能。鉴于 Transformer 类架构的创新速度很快,我们建议探索此 教程,使用核心中的构建块来构建高效的 Transformer 层,或者使用 PyTorch 生态系统 的更高级库。

参数
  • d_model (int) – 编码器/解码器输入的预期特征数(默认值=512)。

  • nhead (int) – 多头注意力模型中的头数(默认值=8)。

  • num_encoder_layers (int) – 编码器中子编码器层的数量(默认值=6)。

  • num_decoder_layers (int) – 解码器中子解码器层的数量(默认值=6)。

  • dim_feedforward (int) – 前馈网络模型的维度(默认值:2048)。

  • dropout (float) – dropout值(默认值:0.1)。

  • activation (Union[str, Callable[[Tensor], Tensor]]) – 编码器/解码器中间层的激活函数,可以是字符串 (“relu” 或 “gelu”) 或一元可调用对象。默认值:relu。

  • custom_encoder (Optional[Any]) – 自定义编码器(默认值=None)。

  • custom_decoder (Optional[Any]) – 自定义解码器(默认值=None)。

  • layer_norm_eps (float) – 层归一化组件中的eps值(默认值:1e-5)。

  • batch_first (bool) – 如果设置为 True,则输入和输出张量以 (batch, seq, feature) 的形式提供。默认值:False(seq, batch, feature)。

  • norm_first (bool) – 如果设置为 True,则编码器和解码器层将在其他注意力层和前馈层操作之前执行 LayerNorms,否则在之后执行。默认值:False(在之后)。

  • bias (bool) – 如果设置为 False,则 LinearLayerNorm 层将不会学习加性偏置。默认值:True

示例

>>> transformer_model = nn.Transformer(nhead=16, num_encoder_layers=12)
>>> src = torch.rand((10, 32, 512))
>>> tgt = torch.rand((20, 32, 512))
>>> out = transformer_model(src, tgt)

注意:在 pytorch/examples 中提供了应用 nn.Transformer 模块进行词语言模型的完整示例。

forward(src, tgt, src_mask=None, tgt_mask=None, memory_mask=None, src_key_padding_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, src_is_causal=None, tgt_is_causal=None, memory_is_causal=False)[源码]#

接收并处理带掩码的源/目标序列。

注意

如果为任何 [src/tgt/memory]_mask 参数提供了布尔张量,则值为 True 的位置不允许参与注意力计算,这与 torch.nn.functional.scaled_dot_product_attention()attn_mask 的定义相反。

参数
  • src (Tensor) – 编码器的序列(必需)。

  • tgt (Tensor) – 解码器的序列(必需)。

  • src_mask (Optional[Tensor]) – 源序列的加性掩码(可选)。

  • tgt_mask (Optional[Tensor]) – 目标序列的加性掩码(可选)。

  • memory_mask (Optional[Tensor]) – 编码器输出的加性掩码(可选)。

  • src_key_padding_mask (Optional[Tensor]) – 每个批次的源键的张量掩码(可选)。

  • tgt_key_padding_mask (Optional[Tensor]) – 每个批次的目標鍵的張量掩碼(可选)。

  • memory_key_padding_mask (Optional[Tensor]) – 每个批次的記憶鍵的張量掩碼(可选)。

  • src_is_causal (Optional[bool]) – 如果指定,则将因果掩码应用于 src_mask。默认值:None;尝试检测因果掩码。警告:src_is_causal 提供了 src_mask 是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。

  • tgt_is_causal (Optional[bool]) – 如果指定,则将因果掩码应用于 tgt_mask。默认值:None;尝试检测因果掩码。警告:tgt_is_causal 提供了 tgt_mask 是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。

  • memory_is_causal (bool) – 如果指定,则将因果掩码应用于 memory_mask。默认值:False。警告:memory_is_causal 提供了 memory_mask 是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。

返回类型

张量

形状
  • src: 非批量输入为 (S,E)(S, E),如果 batch_first=False 则为 (S,N,E)(S, N, E),如果 batch_first=True 则为 (N, S, E)

  • tgt: 非批量输入为 (T,E)(T, E),如果 batch_first=False 则为 (T,N,E)(T, N, E),如果 batch_first=True 则为 (N, T, E)

  • src_mask: (S,S)(S, S)(Nnum_heads,S,S)(N\cdot\text{num\_heads}, S, S)

  • tgt_mask: (T,T)(T, T)(Nnum_heads,T,T)(N\cdot\text{num\_heads}, T, T)

  • memory_mask: (T,S)(T, S)

  • src_key_padding_mask: 非批量输入为 (S)(S),否则为 (N,S)(N, S)

  • tgt_key_padding_mask: 非批量输入为 (T)(T),否则为 (N,T)(N, T)

  • memory_key_padding_mask: 非批量输入为 (S)(S),否则为 (N,S)(N, S)

注意:[src/tgt/memory]_mask 确保位置 ii 可以关注未被掩码的位置。如果提供布尔张量,值为 True 的位置将被忽略,值为 False 的位置将保持不变。如果提供浮点张量,它将被添加到注意力权重中。[src/tgt/memory]_key_padding_mask 为注意力提供了要忽略的指定元素。如果提供布尔张量,值为 True 的位置将被忽略,值为 False 的位置将保持不变。

  • output: 非批量输入为 (T,E)(T, E),如果 batch_first=False 则为 (T,N,E)(T, N, E),如果 batch_first=True 则为 (N, T, E)

注意:由于 Transformer 模型中的多头注意力架构,Transformer 的输出序列长度与解码器的输入序列(即目标)长度相同。

其中 SS 是源序列长度,TT 是目标序列长度,NN 是批次大小,EE 是特征数量。

示例

>>> output = transformer_model(
...     src, tgt, src_mask=src_mask, tgt_mask=tgt_mask
... )
static generate_square_subsequent_mask(sz, device=None, dtype=None)[源码]#

生成序列的方形因果掩码。

掩码位置填充为 float(‘-inf’)。未掩码位置填充为 float(0.0)。

返回类型

张量