GRU#

class torch.ao.nn.quantized.dynamic.GRU(*args, **kwargs)[source]#

Applies a multi-layer gated recurrent unit (GRU) RNN to an input sequence.

For each element in the input sequence, each layer computes the following function

\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}

其中 $h_t$ 是时间 t 的隐藏状态， $x_t$ 是时间 t 的输入， $h_{(t-1)}$ 是上一时间步 t-1 或初始时间步 0 的隐藏状态，而 $r_t$ ， $z_t$ ， $n_t$ 分别是重置门、更新门和新门。 $\sigma$ 是 sigmoid 函数， $\odot$ 是 Hadamard 积。

在多层 GRU 中，第 $l$ 层的输入 $x^{(l)}_t$ （ $l >= 2$ ）是上一层隐藏状态 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$ ，其中每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，其取值为 $0$ 的概率为 dropout。

参数

input_size – 输入 x 中预期特征的数量
hidden_size – 隐藏状态 h 中的特征数量
num_layers – 循环层数。例如，设置 num_layers=2 表示将两个 GRU 堆叠在一起形成一个堆叠 GRU，第二个 GRU 接收第一个 GRU 的输出并计算最终结果。默认值：1
bias – 如果为 False，则该层不使用偏置权重 b_ih 和 b_hh。默认值：True
batch_first – 如果为 True，则输入和输出张量提供为 (batch, seq, feature)。默认值：False
dropout – 如果非零，则在除最后一层外的每个 GRU 层的输出上引入一个 Dropout 层，其 dropout 概率等于 dropout。默认值：0
bidirectional – 如果为 True，则成为双向 GRU。默认值：False

输入：input, h_0

input，形状为 (seq_len, batch, input_size)：包含输入序列特征的张量。输入也可以是填充的可变长度序列。有关详细信息，请参阅 torch.nn.utils.rnn.pack_padded_sequence()。
h_0，形状为 (num_layers * num_directions, batch, hidden_size)：包含批次中每个元素的初始隐藏状态的张量。如果未提供，则默认为零。如果 RNN 是双向的，则 num_directions 应为 2，否则应为 1。

输出：output, h_n

output，形状为 (seq_len, batch, num_directions * hidden_size)：包含 GRU 最后一层对于每个 t 的输出特征 h_t 的张量。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出也将是填充序列。对于未填充的情况，可以使用 output.view(seq_len, batch, num_directions, hidden_size) 来分离方向，其中前向为方向 0，后向为方向 1。

类似地，在填充情况下也可以分离方向。
h_n，形状为 (num_layers * num_directions, batch, hidden_size)：包含 t = seq_len 的隐藏状态的张量。

与 *output* 类似，可以使用 h_n.view(num_layers, num_directions, batch, hidden_size) 来分离层。

形状

Input1: $(L, N, H_{in})$ tensor，其中 $H_{in}=\text{input\_size}$ and L 表示序列长度。
Input2: $(S, N, H_{out})$ tensor，包含批次中每个元素的初始隐藏状态。 $H_{out}=\text{hidden\_size}$ 默认情况下为零。其中 $S=\text{num\_layers} * \text{num\_directions}$ 如果 RNN 是双向的，则 num_directions 应为 2，否则应为 1。
Output1: $(L, N, H_{all})$ 其中 $H_{all}=\text{num\_directions} * \text{hidden\_size}$
Output2: $(S, N, H_{out})$ tensor，包含批次中每个元素的下一个隐藏状态。

变量

weight_ih_l[k] – 第 $\text{k}^{th}$ 个层（W_ir|W_iz|W_in）的可学习输入-隐藏权重，对于 k = 0，形状为 (3*hidden_size, input_size)。否则，形状为 (3*hidden_size, num_directions * hidden_size)
weight_hh_l[k] – 第 $\text{k}^{th}$ 个层（W_hr|W_hz|W_hn）的可学习隐藏-隐藏权重，形状为 (3*hidden_size, hidden_size)
bias_ih_l[k] – 第 $\text{k}^{th}$ 个层的可学习输入-隐藏偏置（b_ir|b_iz|b_in），形状为 (3*hidden_size)
bias_hh_l[k] – 第 $\text{k}^{th}$ 个层的可学习隐藏-隐藏偏置（b_hr|b_hz|b_hn），形状为 (3*hidden_size)

注意

所有权重和偏置都初始化自 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 其中 $k = \frac{1}{\text{hidden\_size}}$

注意

新门 $n_t$ 的计算与原始论文和其他框架略有不同。在原始实现中，Hadamard 乘积 $(\odot)$ 作用于 $r_t$ 和前一个隐藏状态 $h_{(t-1)}$ 之间，是在与权重矩阵 W 相乘和加上偏置之前完成的。

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}

这与 PyTorch 的实现相反，PyTorch 的实现是在 $W_{hn} h_{(t-1)}$ 之后完成。

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}

为了效率，此实现方式特意有所不同。

注意

如果满足以下条件：1）启用了 cudnn，2）输入数据在 GPU 上，3）输入数据具有 torch.float16 数据类型，4）使用了 V100 GPU，5）输入数据不是 PackedSequence 格式，则可以选择持久算法来提高性能。

示例

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

GRU#

文档

教程

资源