评价此页

torch.nn.attention#

创建于:2024 年 1 月 24 日 | 最后更新于:2024 年 10 月 29 日

此模块包含改变 torch.nn.functional.scaled_dot_product_attention 行为的函数和类

工具#

sdpa_kernel

用于选择缩放点积注意力后端上下文管理器。

SDPBackend

一个类似枚举的类,包含缩放点积注意力的不同后端。

子模块#

flex_attention

此模块实现了 PyTorch 中 flex_attention 的用户界面 API。

bias

定义与 scaled_dot_product_attention 配合使用的偏差子类

experimental