RNN#

class torch.nn.modules.rnn.RNN(input_size, hidden_size, num_layers=1, nonlinearity='tanh', bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[源代码]#

对输入序列应用多层 Elman RNN，使用 $\tanh$ 或 $\text{ReLU}$ 非线性激活函数。对于输入序列中的每个元素，每一层都计算以下函数：

h_t = \tanh(x_t W_{ih}^T + b_{ih} + h_{t-1}W_{hh}^T + b_{hh})

其中 $h_t$ 是时间 t 的隐藏状态， $x_t$ 是时间 t 的输入，而 $h_{(t-1)}$ 是上一层的隐藏状态（时间 t-1）或初始隐藏状态（时间 0）。如果 nonlinearity 是 'relu'，则使用 $\text{ReLU}$ 代替 $\tanh$ 。

# Efficient implementation equivalent to the following with bidirectional=False
rnn = nn.RNN(input_size, hidden_size, num_layers)
params = dict(rnn.named_parameters())
def forward(x, hx=None, batch_first=False):
    if batch_first:
        x = x.transpose(0, 1)
    seq_len, batch_size, _ = x.size()
    if hx is None:
        hx = torch.zeros(rnn.num_layers, batch_size, rnn.hidden_size)
    h_t_minus_1 = hx.clone()
    h_t = hx.clone()
    output = []
    for t in range(seq_len):
        for layer in range(rnn.num_layers):
            input_t = x[t] if layer == 0 else h_t[layer - 1]
            h_t[layer] = torch.tanh(
                input_t @ params[f"weight_ih_l{layer}"].T
                + h_t_minus_1[layer] @ params[f"weight_hh_l{layer}"].T
                + params[f"bias_hh_l{layer}"]
                + params[f"bias_ih_l{layer}"]
            )
        output.append(h_t[-1].clone())
        h_t_minus_1 = h_t.clone()
    output = torch.stack(output)
    if batch_first:
        output = output.transpose(0, 1)
    return output, h_t

参数

input_size – 输入 x 中预期特征的数量
hidden_size – 隐藏状态 h 中的特征数量
num_layers – 循环层的数量。例如，设置 num_layers=2 将意味着将两个 RNN 堆叠在一起形成一个堆叠 RNN，第二个 RNN 接收第一个 RNN 的输出并计算最终结果。默认值：1
nonlinearity – 要使用的非线性激活函数。可以是 'tanh' 或 'relu'。默认值：'tanh'
bias – 如果为 False，则该层不使用偏置权重 b_ih 和 b_hh。默认值：True
batch_first – 如果为 True，则输入和输出张量以 (batch, seq, feature) 的形式提供，而不是 (seq, batch, feature)。请注意，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下方的输入/输出部分。默认值：False
dropout – 如果非零，则在除最后一层外的每个 RNN 层的输出上引入 Dropout 层，丢失概率等于 dropout。默认值：0
bidirectional – 如果为 True，则变为双向 RNN。默认值：False

输入：input, hx

input: 形状为 $(L, H_{in})$ 的张量，用于未批量的输入，形状为 $(L, N, H_{in})$ 当 batch_first=False 时，或者形状为 $(N, L, H_{in})$ 当 batch_first=True 时，包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息，请参阅 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence()。
hx: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批量的输入，或者形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，用于输入批量的初始隐藏状态。如果未提供，则默认为零。

其中

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

输出：output, h_n

output: 形状为 $(L, D * H_{out})$ 的张量，用于未批量的输入，形状为 $(L, N, D * H_{out})$ 当 batch_first=False 时，或者形状为 $(N, L, D * H_{out})$ 当 batch_first=True 时，包含 RNN 最后一层对于每个 t 的输出特征 (h_t)。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出也将是打包序列。
h_n: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批量的输入，或者形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含批次中每个元素的最终隐藏状态。

变量

weight_ih_l[k] – 第 k 层的可学习输入-隐藏权重，对于 k = 0，形状为 (hidden_size, input_size)。否则，形状为 (hidden_size, num_directions * hidden_size)
weight_hh_l[k] – 第 k 层的可学习隐藏-隐藏权重，形状为 (hidden_size, hidden_size)
bias_ih_l[k] – 第 k 层的可学习输入-隐藏偏置，形状为 (hidden_size)
bias_hh_l[k] – 第 k 层的可学习隐藏-隐藏偏置，形状为 (hidden_size)

注意

所有权重和偏置都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$

注意

对于双向 RNN，方向 0 表示前向，方向 1 表示后向。当 batch_first=False 时，拆分输出层的示例如下：output.view(seq_len, batch, num_directions, hidden_size)。

注意

对于未批处理的输入，batch_first 参数被忽略。

警告

在某些版本的cuDNN和CUDA上，RNN函数存在已知的非确定性问题。您可以通过设置以下环境变量来强制执行确定性行为

在CUDA 10.1上，设置环境变量 CUDA_LAUNCH_BLOCKING=1。这可能会影响性能。

在 CUDA 10.2 或更高版本中，请设置环境变量（请注意开头的冒号符号） CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

更多信息请参阅cuDNN 8发行说明。

注意

如果满足以下条件：1) 启用了 cudnn，2) 输入数据在 GPU 上 3) 输入数据的 dtype 为 torch.float16 4) 使用 V100 GPU，5) 输入数据不是 PackedSequence 格式，则可以选择持久化算法来提高性能。

示例

>>> rnn = nn.RNN(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

forward(input: Tensor, hx: Optional[Tensor] = None) → tuple[torch.Tensor, torch.Tensor][源代码]#
forward(input: PackedSequence, hx: Optional[Tensor] = None) → tuple[torch.nn.utils.rnn.PackedSequence, torch.Tensor]: 执行前向传播。

RNN#

文档

教程

资源