Transformer#
- class torch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, activation=<function relu>, custom_encoder=None, custom_decoder=None, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[source]#
一个基础的 transformer 层。
此 Transformer 层实现了最初在 Attention Is All You Need 论文中描述的 Transformer 架构。此层的意图是作为基础理解的参考实现,因此与较新的 Transformer 架构相比,它只包含有限的功能。鉴于 Transformer 类架构的创新速度很快,我们建议探索此 教程,使用核心中的构建块来构建高效的 Transformer 层,或者使用 PyTorch 生态系统 的更高级库。
- 参数
d_model (int) – 编码器/解码器输入的预期特征数(默认值=512)。
nhead (int) – 多头注意力模型中的头数(默认值=8)。
num_encoder_layers (int) – 编码器中子编码器层的数量(默认值=6)。
num_decoder_layers (int) – 解码器中子解码器层的数量(默认值=6)。
dim_feedforward (int) – 前馈网络模型的维度(默认值:2048)。
dropout (float) – dropout值(默认值:0.1)。
activation (Union[str, Callable[[Tensor], Tensor]]) – 编码器/解码器中间层的激活函数,可以是字符串 (“relu” 或 “gelu”) 或一元可调用对象。默认值:relu。
custom_encoder (Optional[Any]) – 自定义编码器(默认值=None)。
custom_decoder (Optional[Any]) – 自定义解码器(默认值=None)。
layer_norm_eps (float) – 层归一化组件中的eps值(默认值:1e-5)。
batch_first (bool) – 如果设置为
True
,则输入和输出张量以 (batch, seq, feature) 的形式提供。默认值:False
(seq, batch, feature)。norm_first (bool) – 如果设置为
True
,则编码器和解码器层将在其他注意力层和前馈层操作之前执行 LayerNorms,否则在之后执行。默认值:False
(在之后)。bias (bool) – 如果设置为
False
,则Linear
和LayerNorm
层将不会学习加性偏置。默认值:True
。
示例
>>> transformer_model = nn.Transformer(nhead=16, num_encoder_layers=12) >>> src = torch.rand((10, 32, 512)) >>> tgt = torch.rand((20, 32, 512)) >>> out = transformer_model(src, tgt)
注意:在 pytorch/examples 中提供了应用 nn.Transformer 模块进行词语言模型的完整示例。
- forward(src, tgt, src_mask=None, tgt_mask=None, memory_mask=None, src_key_padding_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, src_is_causal=None, tgt_is_causal=None, memory_is_causal=False)[源码]#
接收并处理带掩码的源/目标序列。
注意
如果为任何 [src/tgt/memory]_mask 参数提供了布尔张量,则值为
True
的位置不允许参与注意力计算,这与torch.nn.functional.scaled_dot_product_attention()
中attn_mask
的定义相反。- 参数
src (Tensor) – 编码器的序列(必需)。
tgt (Tensor) – 解码器的序列(必需)。
tgt_key_padding_mask (Optional[Tensor]) – 每个批次的目標鍵的張量掩碼(可选)。
memory_key_padding_mask (Optional[Tensor]) – 每个批次的記憶鍵的張量掩碼(可选)。
src_is_causal (Optional[bool]) – 如果指定,则将因果掩码应用于
src_mask
。默认值:None
;尝试检测因果掩码。警告:src_is_causal
提供了src_mask
是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。tgt_is_causal (Optional[bool]) – 如果指定,则将因果掩码应用于
tgt_mask
。默认值:None
;尝试检测因果掩码。警告:tgt_is_causal
提供了tgt_mask
是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。memory_is_causal (bool) – 如果指定,则将因果掩码应用于
memory_mask
。默认值:False
。警告:memory_is_causal
提供了memory_mask
是因果掩码的提示。提供不正确的提示可能导致执行不正确,包括前向和向后兼容性。
- 返回类型
- 形状
src: 非批量输入为 ,如果 batch_first=False 则为 ,如果 batch_first=True 则为 (N, S, E)。
tgt: 非批量输入为 ,如果 batch_first=False 则为 ,如果 batch_first=True 则为 (N, T, E)。
src_mask: 或 。
tgt_mask: 或 。
memory_mask: 。
src_key_padding_mask: 非批量输入为 ,否则为 。
tgt_key_padding_mask: 非批量输入为 ,否则为 。
memory_key_padding_mask: 非批量输入为 ,否则为 。
注意:[src/tgt/memory]_mask 确保位置 可以关注未被掩码的位置。如果提供布尔张量,值为
True
的位置将被忽略,值为False
的位置将保持不变。如果提供浮点张量,它将被添加到注意力权重中。[src/tgt/memory]_key_padding_mask 为注意力提供了要忽略的指定元素。如果提供布尔张量,值为True
的位置将被忽略,值为False
的位置将保持不变。output: 非批量输入为 ,如果 batch_first=False 则为 ,如果 batch_first=True 则为 (N, T, E)。
注意:由于 Transformer 模型中的多头注意力架构,Transformer 的输出序列长度与解码器的输入序列(即目标)长度相同。
其中 是源序列长度, 是目标序列长度, 是批次大小, 是特征数量。
示例
>>> output = transformer_model( ... src, tgt, src_mask=src_mask, tgt_mask=tgt_mask ... )