unstable_index

在 Google Colab 中运行

Colab

下载笔记本

笔记本

在 GitHub 上查看

GitHub

不稳定版

API 不稳定特性不作为二进制发行版（如 PyPI 或 Conda）的一部分提供（除非可能在运行时标志后面）。要测试这些特性，我们建议（取决于具体特性）从源代码（主分支）构建 PyTorch 或使用 pytorch.org 上提供的每日构建版。

承诺级别：我们承诺仅对这些功能收集高带宽反馈。基于此反馈以及社区成员之间潜在的进一步互动，我们作为一个社区将决定是否要升级承诺级别或快速失败。

---

（原型）使用半结构化 (2:4) 稀疏性加速 BERT

将 BERT 剪枝为 2:4 稀疏并加速推理。

模型优化

在 PyTorch 1.10 中跳过模块参数初始化

描述了在 PyTorch 1.10 的模块构建过程中跳过参数初始化，以避免浪费计算。

模块

使用 torch.vmap

了解 torch.vmap，一个用于 PyTorch 操作的自动向量化器。

vmap

嵌套张量

了解嵌套张量，这是一种批处理异构长度数据的新方法

NestedTensor

掩码张量概述

了解掩码张量，这是指定值和未指定值的真实来源

MaskedTensor

掩码张量稀疏性

了解如何在 MaskedTensor 中利用稀疏布局（例如 COO 和 CSR）

MaskedTensor

掩码张量高级语义

了解更多关于掩码张量的高级语义（与 NumPy 的 MaskedArray 相比的归约和比较）

MaskedTensor

MaskedTensor：简化 Adagrad 稀疏语义

展示掩码张量如何实现稀疏语义并提供更简洁的开发体验

MaskedTensor

Inductor Cpp 包装器教程

使用 Inductor Cpp 包装器加速您的模型

模型优化

Inductor Windows CPU 教程

在 Windows CPU 上使用 Inductor 加速您的模型

模型优化

在 CPU 上使用 max-autotune 编译以获得额外的性能提升

在 CPU 上使用 max-autotune 模式以获得额外性能提升的教程

模型优化

飞行记录仪教程

使用飞行记录仪轻松调试卡住的作业

分布式、调试、飞行记录仪

上下文并行教程

沿序列维度并行化注意力计算

分布式、上下文并行

Python 中的树外扩展自动加载

了解如何基于自动加载机制改进树外扩展与 PyTorch 的无缝集成。

扩展PyTorch、前端API

（原型）使用 GPUDirect 存储

了解如何在 PyTorch 中使用 GPUDirect 存储。

GPUDirect-Storage