EmbeddingBag#

class torch.nn.EmbeddingBag(num_embeddings, embedding_dim, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, mode='mean', sparse=False, _weight=None, include_last_offset=False, padding_idx=None, device=None, dtype=None)[source]#

计算嵌入“包”的总和或平均值，而无需实例化中间嵌入。

对于具有恒定长度的包，没有 per_sample_weights，没有等于 padding_idx 的索引，并且输入是 2D 的，此类

具有 mode="sum" 的功能等同于 Embedding 后跟 torch.sum(dim=1)，

具有 mode="mean" 的功能等同于 Embedding 后跟 torch.mean(dim=1)，

具有 mode="max" 的功能等同于 Embedding 后跟 torch.max(dim=1)。

然而，EmbeddingBag 比使用一系列这些操作更有效率（时间和内存）。

EmbeddingBag 还支持在前向传递中将每样本权重作为参数。这会按 mode 指定的方式对嵌入的输出进行加权归约。如果传递了 per_sample_weights，则唯一支持的 mode 是 "sum"，它根据 per_sample_weights 计算加权和。

参数

num_embeddings (int) – 嵌入字典的大小。
embedding_dim (int) – 每个嵌入向量的大小。
max_norm (float, optional) – 如果给定，则范数大于 max_norm 的每个嵌入向量将被重新归一化为范数为 max_norm。
norm_type (float, optional) – 计算 max_norm 选项的 p-范数的 p 值。默认为 2.0。
scale_grad_by_freq (bool, optional) – 如果给定，将通过词语在小批量中的频率的倒数来缩放梯度。默认为 False。注意：当 mode="max" 时，此选项不受支持。
mode (str, optional) – "sum"、"mean" 或 "max"。指定归约包的方式。"sum" 计算加权和，并考虑 per_sample_weights。"mean" 计算包中值的平均值，"max" 计算每个包的最大值。默认为 "mean"。
sparse (bool, optional) – 如果为 True，则关于 weight 矩阵的梯度将是一个稀疏张量。有关稀疏梯度的更多详细信息，请参见 Notes。注意：当 mode="max" 时，此选项不受支持。
include_last_offset (bool, optional) – 如果为 True，则 offsets 将多一个元素，最后一个元素等同于 indices 的大小。这匹配 CSR 格式。
padding_idx (int, optional) – 如果指定，则 padding_idx 处的条目不贡献梯度；因此，padding_idx 处的嵌入向量在训练期间不被更新，即它仍然是一个固定的“填充”。对于新创建的 EmbeddingBag，padding_idx 处的嵌入向量将默认为全零，但可以更新为另一个值用作填充向量。请注意，padding_idx 处的嵌入向量不包含在归约中。

变量

weight (Tensor) – 模块的可学习权重，形状为 (num_embeddings, embedding_dim)，从 $\mathcal{N}(0, 1)$ 初始化。

示例

>>> # an EmbeddingBag module containing 10 tensors of size 3
>>> embedding_sum = nn.EmbeddingBag(10, 3, mode='sum')
>>> # a batch of 2 samples of 4 indices each
>>> input = torch.tensor([1, 2, 4, 5, 4, 3, 2, 9], dtype=torch.long)
>>> offsets = torch.tensor([0, 4], dtype=torch.long)
>>> embedding_sum(input, offsets)
tensor([[-0.8861, -5.4350, -0.0523],
        [ 1.1306, -2.5798, -1.0044]])

>>> # Example with padding_idx
>>> embedding_sum = nn.EmbeddingBag(10, 3, mode='sum', padding_idx=2)
>>> input = torch.tensor([2, 2, 2, 2, 4, 3, 2, 9], dtype=torch.long)
>>> offsets = torch.tensor([0, 4], dtype=torch.long)
>>> embedding_sum(input, offsets)
tensor([[ 0.0000,  0.0000,  0.0000],
        [-0.7082,  3.2145, -2.6251]])

>>> # An EmbeddingBag can be loaded from an Embedding like so
>>> embedding = nn.Embedding(10, 3, padding_idx=2)
>>> embedding_sum = nn.EmbeddingBag.from_pretrained(
        embedding.weight,
        padding_idx=embedding.padding_idx,
        mode='sum')

forward(input, offsets=None, per_sample_weights=None)[source]#

EmbeddingBag 的前向传递。

参数

input (Tensor) – 包含嵌入矩阵索引包的张量。
offsets (Tensor, optional) – 仅在 input 为 1D 时使用。offsets 确定 input 中每个包（序列）的起始索引位置。
per_sample_weights (Tensor, optional) – 一个浮点/双精度权重张量，或者 None 表示所有权重都应视为 1。如果指定，per_sample_weights 必须与 input 具有完全相同的形状，并且被视为具有相同的 offsets（如果 None）。仅支持 mode='sum'。

返回

输出张量的形状为 (B, embedding_dim)。

返回类型

张量

注意

关于 input 和 offsets 的几点说明

input 和 offsets 必须是相同的类型，即 int 或 long。
如果 input 是 2D 的，形状为 (B, N)，它将被视为 B 个包（序列），每个包的固定长度为 N，这将根据 mode 返回 B 个聚合值。offsets 被忽略，并且在此情况下要求为 None。
如果 input 是 1D 的，形状为 (N)，它将被视为多个包（序列）的连接。offsets 要求是包含 input 中每个包起始索引位置的 1D 张量。因此，对于形状为 (B) 的 offsets，input 将被视为有 B 个包。空包（即长度为 0 的包）将返回填充为零的向量。

classmethod from_pretrained(embeddings, freeze=True, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, mode='mean', sparse=False, include_last_offset=False, padding_idx=None)[source]#

从给定的二维 FloatTensor 创建 EmbeddingBag 实例。

参数

embeddings (Tensor) – 包含 EmbeddingBag 权重的 FloatTensor。第一维度传递给 EmbeddingBag 作为“num_embeddings”，第二维度作为“embedding_dim”。
freeze (bool, optional) – 如果为 True，则张量在学习过程中不会被更新。等同于 embeddingbag.weight.requires_grad = False。默认为 True。
max_norm (float, optional) – 请参见模块初始化文档。默认为 None。
norm_type (float, optional) – 请参见模块初始化文档。默认为 2.0。
scale_grad_by_freq (bool, optional) – 请参见模块初始化文档。默认为 False。
mode (str, optional) – 请参见模块初始化文档。默认为 "mean"。
sparse (bool, optional) – 请参见模块初始化文档。默认为 False。
include_last_offset (bool, optional) – 请参见模块初始化文档。默认为 False。
padding_idx (int, optional) – 请参见模块初始化文档。默认为 None。

返回类型

EmbeddingBag

示例

>>> # FloatTensor containing pretrained weights
>>> weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
>>> embeddingbag = nn.EmbeddingBag.from_pretrained(weight)
>>> # Get embeddings for index 1
>>> input = torch.LongTensor([[1, 0]])
>>> embeddingbag(input)
tensor([[ 2.5000,  3.7000,  4.6500]])

EmbeddingBag#

文档

教程

资源