torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size)

创建一个左上三角因果掩码。

此函数生成一个左上三角矩阵来表示因果注意力掩码，其中对角线偏移设置正确，使得包含的值与矩阵的左上角对齐。这等同于 scaled_dot_product_attention 中的 is_causal=True 参数。

构造此掩码的等效 PyTorch 代码为：

torch.tril(torch.ones(size, dtype=torch.bool))

例如，当 shape=(3,4) 时，物化的掩码张量将是：

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

参数

size – 掩码矩阵的大小。

返回

左上三角因果掩码变体。

返回类型

CausalBias