索引

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

欢迎来到 PyTorch 教程

PyTorch 教程的新内容

• 使用 Ray Train 进行分布式训练

• 使用 Ray Serve 大规模部署 PyTorch 模型

• 使用 Ray Tune 进行超参数调优

• 使用 Mosaic 进行内存分析

• 在 PyTorch 中使用可变长度注意力机制

• DebugMode：记录已分派的操作和数值调试

学习基础知识

熟悉 PyTorch 的概念和模块。 学习如何加载数据、构建深度神经网络、训练和保存模型，本快速入门指南将为您提供帮助。

开始使用 PyTorch

PyTorch 食谱

开箱即用、可部署的 PyTorch 代码示例。

探索 Recipes

---

学习基础知识

使用 PyTorch 构建完整 ML 工作流程的分步指南。

入门

YouTube 上的 PyTorch 介绍

PyTorch 入门系列 YouTube 视频的介绍，用于构建完整的 ML 工作流程。

入门

通过示例学习 PyTorch

本教程通过独立的示例介绍 PyTorch 的基本概念。

入门

torch.nn 究竟是什么？

使用 torch.nn 创建和训练神经网络。

入门

使用 TensorBoard 可视化模型、数据和训练

学习如何使用 TensorBoard 可视化数据和模型训练。

可解释性,入门,TensorBoard

PyTorch 中 `non_blocking` 和 `pin_memory()` 的良好用法

关于将数据从 CPU 复制到 GPU 的最佳实践指南。

入门

理解 requires_grad、retain_grad、Leaf 和 Non-leaf Tensor

了解 requires_grad、retain_grad、leaf 和 non-leaf 张量的细微之处

入门

PyTorch 中梯度的可视化

可视化网络的梯度流动。

入门

TorchVision 目标检测微调教程

微调预训练的 Mask R-CNN 模型。

图像/视频

计算机视觉迁移学习教程

使用迁移学习训练用于图像分类的卷积神经网络。

图像/视频

对抗样本生成

使用迁移学习训练用于图像分类的卷积神经网络。

图像/视频

DCGAN 教程

训练生成对抗网络 (GAN) 以生成新的名人。

图像/视频

空间变换网络教程

学习如何使用视觉注意力机制增强您的网络。

图像/视频

基于 USB 的半监督学习教程

学习如何使用 USB 和 PyTorch 训练半监督学习算法（在自定义数据上）。

图像/视频

使用 Ray Train 进行分布式训练

使用 PyTorch 和 Ray Train 在多个 GPU 上预训练 Transformer 语言模型。

文本,最佳实践,Ray-分布式,并行和分布式训练

音频 IO

学习如何使用 torchaudio 加载数据。

音频

音频重采样

学习如何使用 torchaudio 重新采样音频波形。

音频

音频数据增强

学习如何使用 torchaudio 应用数据增强。

音频

音频特征提取

学习如何使用 torchaudio 提取特征。

音频

音频特征增强

学习如何使用 torchaudio 增强特征。

音频

音频数据集

学习如何使用 torchaudio 数据集。

音频

torchaudio 中的 Wav2Vec2 自动语音识别

学习如何使用 torchaudio 的预训练模型构建语音识别应用程序。

音频

语音命令分类

学习如何正确格式化音频数据集，然后在数据集上训练/测试音频分类器网络。

音频

torchaudio 中的文本到语音

学习如何使用 torchaudio 的预训练模型构建文本到语音应用程序。

音频

torchaudio 中的 Wav2Vec2 强制对齐

学习如何使用 torchaudio 的 Wav2Vec2 预训练模型将文本与语音对齐

音频

从头开始的 NLP：使用字符级 RNN 对名字进行分类

构建并训练一个基本的字符级 RNN，从头开始对单词进行分类，无需使用 torchtext。 三个教程的系列中的第一个。

NLP

从头开始的 NLP：使用字符级 RNN 生成名字

在使用字符级 RNN 对名字进行分类后，学习如何从语言中生成名字。 三个教程的系列中的第二个。

NLP

从头开始的 NLP：使用序列到序列网络和注意力进行翻译

这是关于“从头开始的 NLP”的第三个也是最后一个教程，我们编写自己的类和函数来预处理数据以进行 NLP 建模任务。

NLP

使用 TorchDynamo 后端将 PyTorch 模型导出到 ONNX 并使用 ONNX Runtime 运行它

在 PyTorch 中构建一个图像分类器模型，将其转换为 ONNX，然后使用 ONNX Runtime 部署它。

生产,ONNX,后端

扩展 ONNX 导出器运算符支持

演示端到端如何解决 ONNX 中不受支持的运算符。

生产,ONNX,后端

将具有控制流的模型导出到 ONNX

演示如何在将 PyTorch 模型导出到 ONNX 时处理控制流逻辑。

生产,ONNX,后端

强化学习 (DQN)

学习如何使用 PyTorch 在 CartPole-v0 任务上训练一个来自 OpenAI Gym 的深度 Q 学习 (DQN) 智能体。

强化学习

使用 TorchRL 进行强化学习 (PPO)

学习如何使用 PyTorch 和 TorchRL 在 Gym 的倒立摆任务上训练一个近端策略优化智能体。

强化学习

训练一个玩马里奥的强化学习智能体

使用 PyTorch 训练一个双 Q 学习智能体来玩马里奥。

强化学习

循环 DQN

使用 TorchRL 训练循环策略

强化学习

编写 DDPG 损失

使用 TorchRL 编写 DDPG 损失

强化学习

编写您的环境和转换

使用 TorchRL 编写 Pendulum

强化学习

PyTorch 教程服务

使用 Ray Serve 部署和扩展 PyTorch 模型。

生产,最佳实践,Ray-分布式,生态系统

分析 PyTorch

学习如何分析 PyTorch 应用程序

性能分析

分析 PyTorch

整体跟踪分析简介

性能分析

分析 PyTorch

使用整体跟踪分析进行跟踪差异

性能分析

使用 Mosaic 进行内存分析

学习如何使用 Mosaic 内存分析器可视化 GPU 内存使用情况，并在 PyTorch 模型中识别内存优化机会。

模型优化,最佳实践,分析

使用 FX 构建一个简单的性能分析器

构建一个简单的 FX 解释器，以记录 op、模块和函数调用的运行时，并报告统计信息

FX

(beta) PyTorch 中的通道最后内存格式

了解通道最后内存格式，以及它是如何用于在保留维度的同时以 NCHW 顺序在内存中排列张量的。

内存格式,最佳实践,前端 API

使用 PyTorch C++ 前端

通过训练一个 DCGAN（一种生成模型）来生成 MNIST 数字的图像，了解使用 C++ 前端训练模型的完整示例。

前端 API,C++

PyTorch 自定义算子主页

这是有关 PyTorch 中自定义运算符的所有内容的着陆页。

扩展 PyTorch,前端 API,C++,CUDA

自定义 Python 算子

在 Python 中创建自定义运算符。 对于使用 torch.compile 的黑盒 Python 函数很有用。

扩展 PyTorch,前端 API,C++,CUDA

编译的自动微分：捕获更大的反向图以用于 ``torch.compile``

学习如何使用编译的自动微分来捕获更大的反向图。

模型优化,CUDA

自定义 C++ 和 CUDA 算子

如何使用自定义 C++ 和 CUDA 运算符扩展 PyTorch。

扩展 PyTorch,前端 API,C++,CUDA

C++ 前端中的 Autograd

自动微分包有助于构建灵活且动态的神经网络。 在本教程中，探索在 PyTorch C++ 前端中进行自动微分的几个示例

前端 API,C++

在 C++ 中注册一个分发算子

调度器是 PyTorch 的内部组件，负责确定调用 torch::add 等函数时应实际运行的代码。

扩展 PyTorch,前端 API,C++

C++ 中扩展调度器以用于新的后端

学习如何扩展调度器以添加一个位于 pytorch/pytorch 仓库之外并保持同步以与本机 PyTorch 设备同步的新设备。

扩展 PyTorch,前端 API,C++

通过 PrivateUse1 促进新后端集成

学习如何集成一个位于 pytorch/pytorch 仓库之外的新的后端，并保持同步以与本机 PyTorch 后端同步。

扩展 PyTorch,前端 API,C++

自定义函数教程：双向反向传播

学习如何编写支持双向反向传播的自定义自动微分函数。

扩展 PyTorch,前端 API

自定义函数教程：融合卷积和批量归一化

学习如何创建一个自定义自动微分函数，将批量归一化融合到卷积中以提高内存使用率。

扩展 PyTorch,前端 API

前向模式自动微分

学习如何使用前向模式自动微分。

前端 API

雅可比矩阵、黑森矩阵、hvp、vhp 等

学习如何使用 torch.func 计算高级自动微分量。

前端 API

模型集成

学习如何使用 torch.vmap 集成模型

前端 API

每个样本的梯度

学习如何使用 torch.func 计算每个样本的梯度

前端 API

神经正切核

学习如何使用 torch.func 计算神经切线核。

前端 API

PyTorch 中的性能分析

学习如何使用 PyTorch Profiler 基准测试模块的性能。

模型优化,最佳实践,分析

TensorBoard 中的性能分析

学习如何使用 TensorBoard 插件来分析和分析模型的性能。

模型优化,最佳实践,分析,TensorBoard

超参数调整教程

学习如何使用 Ray Tune 找到模型表现最佳的超参数集。

模型优化,最佳实践,Ray-分布式,并行和分布式训练

参数化教程

学习如何使用 torch.nn.utils.parametrize 对参数施加约束（例如，使其正交、对称正定、低秩……）

模型优化,最佳实践

剪枝教程

学习如何使用 torch.nn.utils.prune 稀疏化您的神经网络，以及如何扩展它以实现您自己的自定义修剪技术。

模型优化,最佳实践

通过将优化器步骤融合到反向传播中来节省内存

通过使用内存快照将优化器步骤融合到反向传播中来学习一种节省内存的技术。

模型优化,最佳实践,CUDA,前端 API

(beta) 使用半结构化稀疏加速 BERT

训练 BERT，将其修剪为 2:4 稀疏，然后加速它以使用半结构化稀疏和 torch.compile 实现 2 倍的推理速度提升。

文本,模型优化

使用 Ax 进行多目标神经架构搜索

学习如何使用 Ax 搜索架构，找到准确性和延迟之间的最佳权衡。

模型优化,最佳实践,Ax,TorchX

torch.compile 教程

使用最新的 PyTorch 编译器解决方案 torch.compile，只需进行最少的代码更改即可加速您的模型。

模型优化

torch.compile 端到端教程

将 torch.compile 应用于真实模型的示例，展示了速度提升。

模型优化

在 torch.compile 中构建卷积/批量归一化融合器

构建一个简单的模式匹配器传递，将批量归一化融合到卷积中，以提高推理期间的性能。

模型优化

Inductor CPU 后端调试和性能分析

学习 ``torch.compile`` 与 Inductor CPU 后端的使用、调试和性能分析。

模型优化

(beta) 使用缩放点积注意力实现高性能 Transformer

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它来构建 Transformer 组件。

模型优化,注意力,Transformer

卷积神经网络中的知识蒸馏

学习如何使用更强大的模型作为教师来提高轻量级模型的准确性。

模型优化,图像/视频

通过用Nested Tensors和torch.compile()替换nn.Transformer来加速PyTorch Transformers

本教程介绍使用原生PyTorch实现Transformers的推荐最佳实践。

Transformer

PyTorch 分布式概述

简要概述分布式包中的所有概念和特性。使用本文档找到最适合您的应用程序的分布式训练技术。

并行和分布式训练

PyTorch 中的分布式数据并行 - 视频教程

本系列视频教程将指导您通过DDP在PyTorch中进行分布式训练。

并行和分布式训练

单机模型并行最佳实践

学习如何实现模型并行，这是一种分布式训练技术，它将单个模型拆分到不同的GPU上，而不是在每个GPU上复制整个模型

并行和分布式训练

分布式数据并行入门

学习何时使用分布式数据并行与数据并行的基础知识，并通过一个示例来设置它。

并行和分布式训练

使用 PyTorch 编写分布式应用程序

设置PyTorch的分布式包，使用不同的通信策略，并介绍该包的一些内部原理。

并行和分布式训练

使用Tensor Parallel进行大规模Transformer模型训练

学习如何使用Tensor Parallel包训练大型模型。

并行和分布式训练

使用 Cpp 扩展自定义进程组后端

使用自定义集体通信实现扩展ProcessGroup。

并行和分布式训练

分布式 RPC 框架入门

学习如何使用torch.distributed.rpc包构建分布式训练。

并行和分布式训练

使用分布式 RPC 框架实现参数服务器

通过一个简单的示例了解如何使用PyTorch的分布式RPC框架实现参数服务器。

并行和分布式训练

分布式流水线并行简介

演示如何使用torch.distributed.pipelining实现流水线并行。

并行和分布式训练

使用异步执行实现批处理 RPC

学习如何使用rpc.functions.async_execution来实现批量RPC。

并行和分布式训练

结合 Distributed DataParallel 和分布式 RPC 框架

通过一个简单的示例了解如何将分布式数据并行与分布式模型并行结合起来。

并行和分布式训练

完全分片数据并行 (FSDP2) 入门

学习如何使用Fully Sharded Data Parallel (fully_shard) 包训练模型。

并行和分布式训练

Libuv TCPStore 后端简介

TCPStore现在使用新的服务器后端，以实现更快的连接和更好的可扩展性。

并行和分布式训练

使用 Monarch 进行交互式分布式应用程序

学习如何使用Monarch的单控制器模型启动分布式应用程序

并行和分布式训练

使用 Monarch 进行交互式分布式应用程序

学习如何使用Monarch的actor框架与TorchTitan，简化跨SLURM集群的大规模分布式训练。

并行和分布式训练

导出到ExecuTorch教程

了解如何使用ExecuTorch，这是一种统一的ML堆栈，用于将PyTorch模型降低到边缘设备。

边缘

在 C++ 中运行 ExecuTorch 模型教程

学习如何在C++中加载和执行ExecuTorch模型

边缘

使用ExecuTorch SDK分析模型

探索如何使用ExecuTorch SDK分析、调试和可视化ExecuTorch模型

边缘

构建 ExecuTorch iOS 演示应用程序

探索如何设置ExecuTorch iOS Demo App，它使用MobileNet v3模型处理实时摄像头图像，利用三种不同的后端：XNNPACK、Core ML和Metal Performance Shaders (MPS)。

边缘

构建 ExecuTorch Android 演示应用程序

学习如何设置ExecuTorch Android Demo App，用于使用DeepLab v3模型和XNNPACK FP32后端进行图像分割任务。

边缘

将模型作为Delegate降低

学习通过三种方法应用delegate来加速您的程序，从而使用ExecuTorch：降低整个模块、将其与其他模块组合以及分割模块的各个部分。

边缘

TorchRec 简介

TorchRec是一个PyTorch领域库，旨在为大规模推荐系统提供通用的稀疏性和并行性基元。

TorchRec,推荐器

探索 TorchRec 分片

本教程介绍使用EmbeddingPlanner和DistributedModelParallel API对嵌入表进行分片方案。

TorchRec,推荐器

其他资源

PyTorch示例

一组关于PyTorch在视觉、文本、强化学习方面的示例，您可以将其整合到您现有的工作中。

查看示例

在Google Colab上运行教程

学习如何将教程数据复制到Google Drive，以便您可以在Google Colab上运行教程。

开放