torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size)

创建一个左上角三角因果注意力偏差。

此函数生成一个左上角三角矩阵，用于表示因果注意力偏差，其对角线偏移设置正确，以便包含值与矩阵的左上角对齐。这等效于scaled_dot_product_attention中的is_causal=True参数。

构造此掩码的等效 PyTorch 代码为：

torch.tril(torch.ones(size, dtype=torch.bool))

例如，当shape=(3,4)时，生成的偏差张量将是

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

参数

size – 偏差矩阵的大小。

返回

左上角三角因果注意力偏差变体。

返回类型

CausalBias