torch.nn.attention.bias.causal_upper_left#
- torch.nn.attention.bias.causal_upper_left(*size)[源代码]#
创建一个左上三角因果掩码。
此函数生成一个左上三角矩阵来表示因果注意力掩码，其对角线偏移量设置如下：包含的值与矩阵的左上角对齐。这等同于scaled_dot_product_attention 中的is_causal=True 参数。
构造此掩码的等效 PyTorch 代码为：
torch.tril(torch.ones(size, dtype=torch.bool))
例如，使用shape=(3,4) 时，生成的掩码张量将是
[[1, 0, 0, 0], [1, 1, 0, 0], [1, 1, 1, 0]]
- 参数:
size – 掩码矩阵的大小。
- 返回:
左上三角因果掩码变体。
- 返回类型:
