LSTM

class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)

为输入序列应用多层长短期记忆（LSTM）循环神经网络。对于输入序列中的每个元素，每层都执行以下函数

LSTM单元的核心方程如下：

其中 $h_t$ 是时间 $t$ 的隐藏状态，$c_t$ 是时间 $t$ 的单元状态，$x_t$ 是时间 $t$ 的输入，$h_{t-1}$ 是上一时刻的隐藏状态或时间 $t=0$ 的初始隐藏状态，而 $i_t$，$f_t$，$g_t$，$o_t$ 分别是输入门、遗忘门、候选单元状态和输出门。 $\sigma$ 是 Sigmoid 函数，$\odot$ 是 Hadamard 乘积。

在多层 LSTM 中，第 $l$ 层的输入 $x^{(l)}_t$ ($l \ge 2$) 是上一层隐藏状态 $h^{(l-1)}_t$ 乘以 dropout 变量 $\delta^{(l-1)}_t$。其中每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，以 dropout 的概率取值为 $0$。

如果指定了 proj_size > 0，则将使用带有投影的 LSTM。这将以如下方式改变 LSTM 单元。首先，$h_t$ 的维度将从 hidden_size 更改为 proj_size（$W_{hi}$ 的维度将相应更改）。其次，每个 LSTM 层的输出隐藏状态将乘以一个可学习的投影矩阵：$h_t = W_{hr}h_t$. 请注意，作为此更改的结果，LSTM 网络的输出形状也会改变。有关所有变量的确切输入/输出维度，请参阅下面的“输入/输出”部分。有关更多详细信息，请参阅 https://arxiv.org/abs/1402.1128。

参数

• input_size – 输入 x 中预期特征的数量

• hidden_size – 隐藏状态 h 中的特征数量

• num_layers – 循环层数。例如，设置 num_layers=2 意味着将两个 LSTM 堆叠在一起形成一个“堆叠 LSTM”，第二个 LSTM 接收第一个 LSTM 的输出来计算最终结果。默认为 1。

• bias – 如果为 False，则该层不使用偏置权重 b_ih 和 b_hh。默认为 True。

• batch_first – 如果为 True，则输入和输出张量将提供为 (batch, seq, feature) 而不是 (seq, batch, feature)。请注意，这不适用于隐藏状态或单元状态。有关详细信息，请参阅下面的“输入/输出”部分。默认为 False。

• dropout – 如果非零，则在除最后一层外的每个 LSTM 层的输出上引入 Dropout 层，dropout 概率等于 dropout。默认为 0。

• bidirectional – 如果为 True，则变为双向 LSTM。默认为 False。

• proj_size – 如果 > 0，则将使用具有相应大小的投影的 LSTM。默认为 0。

输入：input, (h_0, c_0)

• input: 形状为 $(L, H_{in})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(L, N, H_{in})$，或者当 batch_first=True 时，形状为 $(N, L, H_{in})$，其中包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息，请参阅 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence()。

• h_0: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，用于批处理的输入，包含输入序列的初始隐藏状态。如果未提供 (h_0, c_0)，则默认为零。

• c_0: 形状为 $(D * \text{num\_layers}, H_{cell})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(D * \text{num\_layers}, N, H_{cell})$ 的张量，用于批处理的输入，包含输入序列的初始单元状态。如果未提供 (h_0, c_0)，则默认为零。

其中

其中：

输出：output, (h_n, c_n)

• output: 形状为 $(L, D * H_{out})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(L, N, D * H_{out})$，或者当 batch_first=True 时，形状为 $(N, L, D * H_{out})$，包含 LSTM 最后一个时间步的输出特征 (h_t)。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出也将是打包序列。当 bidirectional=True 时，output 将包含每个时间步的前向和后向隐藏状态的连接。

• h_n: 形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(D * \text{num\_layers}, N, H_{out})$ 的张量，用于批处理的输入，包含序列中每个元素的最终隐藏状态。当 bidirectional=True 时，h_n 将分别包含最终前向和后向隐藏状态的连接。

• c_n: 形状为 $(D * \text{num\_layers}, H_{cell})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(D * \text{num\_layers}, N, H_{cell})$ 的张量，用于批处理的输入，包含序列中每个元素的最终单元状态。当 bidirectional=True 时，c_n 将分别包含最终前向和后向单元状态的连接。

变量

• weight_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习输入-隐藏权重 (W_ii|W_if|W_ig|W_io)，对于 k = 0，形状为 (4*hidden_size, input_size)。否则，形状为 (4*hidden_size, num_directions * hidden_size)。如果指定了 proj_size > 0，则对于 k > 0，形状将为 (4*hidden_size, num_directions * proj_size)。

• weight_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习隐藏-隐藏权重 (W_hi|W_hf|W_hg|W_ho)，形状为 (4*hidden_size, hidden_size)。如果指定了 proj_size > 0，则形状将为 (4*hidden_size, proj_size)。

• bias_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习输入-隐藏偏置 (b_ii|b_if|b_ig|b_io)，形状为 (4*hidden_size)。

• bias_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习隐藏-隐藏偏置 (b_hi|b_hf|b_hg|b_ho)，形状为 (4*hidden_size)。

• weight_hr_l[k] – 第 $\text{k}^{th}$ 层的可学习投影权重，形状为 (proj_size, hidden_size)。仅当指定了 proj_size > 0 时才存在。

• weight_ih_l[k]_reverse – 对于反向方向，与 weight_ih_l[k] 类似。仅当 bidirectional=True 时才存在。

• weight_hh_l[k]_reverse – 对于反向方向，与 weight_hh_l[k] 类似。仅当 bidirectional=True 时才存在。

• bias_ih_l[k]_reverse – 对于反向方向，与 bias_ih_l[k] 类似。仅当 bidirectional=True 时才存在。

• bias_hh_l[k]_reverse – 对于反向方向，与 bias_hh_l[k] 类似。仅当 bidirectional=True 时才存在。

• weight_hr_l[k]_reverse – 对于反向方向，与 weight_hr_l[k] 类似。仅当 bidirectional=True 和指定了 proj_size > 0 时才存在。

注意

所有权重和偏置都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$。

注意

对于双向 LSTM，前向和后向分别表示方向 0 和 1。当 batch_first=False 时，输出层拆分的示例如下：output.view(seq_len, batch, num_directions, hidden_size)。

注意

对于双向 LSTM，h_n 与 output 的最后一个元素不相等；前者包含最终的前向和后向隐藏状态，而后者包含最终的前向隐藏状态和初始的后向隐藏状态。

注意

对于未批处理的输入，batch_first 参数被忽略。

注意

proj_size 应小于 hidden_size。

警告

在某些版本的cuDNN和CUDA上，RNN函数存在已知的非确定性问题。您可以通过设置以下环境变量来强制执行确定性行为

在CUDA 10.1上，设置环境变量 CUDA_LAUNCH_BLOCKING=1。这可能会影响性能。

在 CUDA 10.2 或更高版本上，设置环境变量（注意开头的冒号符号）CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

更多信息请参阅cuDNN 8发行说明。

注意

如果满足以下条件：1）启用了 cudnn，2）输入数据在 GPU 上 3）输入数据的 dtype 为 torch.float16 4）使用了 V100 GPU，5）输入数据不是 PackedSequence 格式，则可以选择持久化算法来提高性能。

示例

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))