评价此页

torch.nn.attention.bias#

创建于: 2023年12月05日 | 最后更新于: 2025年06月14日

定义了与 scaled_dot_product_attention 配合使用的 bias 子类

CausalBias#

CausalBias

表示因果注意力模式的 bias。

causal_lower_right

创建一个右下三角因果 bias。

causal_upper_left

创建一个左上三角因果 bias。

CausalVariant

用于注意力机制的因果变体枚举。