指南索引

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

指南

指南是小巧精悍、可操作的示例，展示如何使用特定的 PyTorch 功能，与我们的完整教程不同。

---

定义神经网络

学习如何使用 PyTorch 的 torch.nn 包为 MNIST 数据集创建和定义神经网络。

基础知识

PyTorch 中的 state_dict 是什么

了解 state_dict 对象和 Python 字典如何用于在 PyTorch 中保存或加载模型。

基础知识

在 PyTorch 中使用来自不同模型的参数热启动模型

了解通过部分加载模型或加载部分模型来热启动训练过程，可以帮助您的模型比从头开始训练更快地收敛。

基础知识

在 PyTorch 中梯度清零

了解何时应将梯度归零以及这样做如何有助于提高模型的准确性。

基础知识

PyTorch 基准测试

学习如何使用 PyTorch 的 benchmark 模块来测量和比较代码的性能

基础知识

PyTorch 基准测试（快速入门）

学习如何测量代码片段运行时间并收集指令。

基础知识

PyTorch 分析器

学习如何使用 PyTorch 的 profiler 来测量操作符时间和内存消耗

基础知识

PyTorch 分析器支持 Instrumentation and Tracing Technology API (ITT API)

学习如何使用 PyTorch 分析器以及 Instrumentation and Tracing Technology API (ITT API) 在 Intel® VTune™ Profiler GUI 中可视化操作符标签

基础知识

Torch 编译 IPEX 后端

学习如何使用 torch.compile IPEX 后端

基础知识

使用 torch.compiler.set_stance 进行动态编译控制

学习如何使用 torch.compiler.set_stance

编译器

在 PyTorch 中推理形状

学习如何使用 meta device 来推断模型中的形状。

基础知识

从检查点加载 nn.Module 的技巧

学习从检查点加载 nn.Module 的技巧。

基础知识

(测试版) 使用 TORCH_LOGS 观察 torch.compile

学习如何使用 torch 日志记录 API 来观察编译过程。

基础知识

nn.Module 中用于加载 state_dict 和张量子类的扩展点

nn.Module 中的新扩展点。

基础知识

torch.export AOTInductor Python 运行时教程

学习一个关于如何将 AOTInductor 用于 Python 运行时的端到端示例。

基础知识

torch.export 流程演示、常见挑战及解决方案

学习如何为常见用例导出模型

编译器, TorchCompile

使用 Captum 进行模型可解释性分析

学习如何使用 Captum 将图像分类器的预测归因于其相应的图像特征并可视化归因结果。

可解释性, Captum

如何在 PyTorch 中使用 TensorBoard

学习 TensorBoard 与 PyTorch 的基本用法，以及如何在 TensorBoard UI 中可视化数据

可视化, TensorBoard

自动混合精度

使用 torch.cuda.amp 减少 NVIDIA GPU 上的运行时间并节省内存。

模型优化

性能调优指南

实现最佳性能的技巧。

模型优化

使用 run_cpu 脚本优化 Intel® Xeon® 上的 CPU 性能

如何在 Intel® Xeon CPU 上使用 run_cpu 脚本进行最佳运行时配置。

模型优化

AWS Graviton 处理器上的 PyTorch 推理性能调优

在 AWS Graviton CPU 上实现最佳推理性能的技巧

模型优化

利用英特尔® 高级矩阵扩展

学习利用英特尔® 高级矩阵扩展。

模型优化

(测试版) 将 Torch 函数模式与 torch.compile 结合使用

使用 Torch 函数模式和 torch.compile 覆盖 torch 操作符

模型优化

(测试版) 使用 torch.compile 编译优化器

使用 torch.compile 加速优化器

模型优化

(beta) 使用 LR 调度器运行已编译的优化器

使用 LRScheduler 和 torch.compiled 优化器加速训练

模型优化

(测试版) 使用 foreach_map 和 torch.compile 进行显式水平融合

使用 torch.compile 水平融合逐点操作

模型优化

将用户定义的 Triton 内核与 torch.compile 结合使用

学习如何将用户定义的内核与 torch.compile 结合使用

模型优化

torch.compile 中的编译时缓存

学习如何在 torch.compile 中使用编译时缓存

模型优化

编译时缓存配置

学习如何在 torch.compile 中配置编译时缓存

模型优化

通过区域编译减少 torch.compile 的冷启动编译时间

学习如何使用区域编译来控制冷启动编译时间

模型优化

英特尔® PyTorch* 扩展

英特尔® PyTorch* 扩展简介

模型优化

英特尔® 神经网络压缩器用于 PyTorch

使用英特尔® 神经网络压缩器方便地在 PyTorch 中进行量化。

量化, 模型优化

DeviceMesh 入门

学习如何使用 DeviceMesh

分布式训练

使用 ZeroRedundancyOptimizer 分片优化器状态

如何使用 ZeroRedundancyOptimizer 减少内存消耗。

分布式训练

使用 TensorPipe RPC 进行直接设备间通信

如何使用 RPC 进行直接 GPU-to-GPU 通信。

分布式训练

分布式检查点 (DCP) 入门

学习如何使用分布式检查点包检查点分布式模型。

分布式训练

异步检查点 (DCP)

学习如何使用分布式检查点包检查点分布式模型。

分布式训练

CommDebugMode 入门

学习如何将 CommDebugMode 用于 DTensors

分布式训练