recipes_index

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

Recipes

Recipes 是简短、可操作的示例，展示了如何使用特定的 PyTorch 功能，与我们的完整教程不同。

---

定义神经网络

学习如何使用 PyTorch 的 torch.nn 包创建和定义用于 MNIST 数据集的神经网络。

基础知识

PyTorch 中的 state_dict 是什么

学习 state_dict 对象和 Python 字典如何在 PyTorch 中用于保存或加载模型。

基础知识

在 PyTorch 中使用来自不同模型的参数热启动模型

学习如何通过部分加载模型或加载部分模型来启动训练过程，这可以帮助您的模型比从头开始训练更快地收敛。

基础知识

在 PyTorch 中梯度清零

学习何时应该将梯度归零，以及这样做如何帮助提高模型的准确性。

基础知识

PyTorch Benchmark

学习如何使用 PyTorch 的 benchmark 模块来测量和比较代码的性能

基础知识

PyTorch Benchmark（快速入门）

学习如何测量代码片段的运行时间并收集指令。

基础知识

PyTorch Profiler

学习如何使用 PyTorch 的 profiler 来测量算子的时间和内存消耗

基础知识

PyTorch Profiler，支持 Instrumentation and Tracing Technology API (ITT API)

学习如何使用 PyTorch 的 profiler 和 Instrumentation and Tracing Technology API (ITT API) 在 Intel® VTune™ Profiler GUI 中可视化算子标记。

基础知识

使用 ``torch.compiler.set_stance`` 控制动态编译

学习如何使用 torch.compiler.set_stance

编译器

在 PyTorch 中推理形状

学习如何使用 meta 设备来推理模型中的形状。

基础知识

从检查点加载 nn.Module 的技巧

学习从检查点加载 nn.Module 的技巧。

基础知识

(beta) 使用 TORCH_LOGS 观察 torch.compile

学习如何使用 torch 日志 API 来观察编译过程。

基础知识

nn.Module 中用于加载 state_dict 和张量子类的扩展点

nn.Module 中的新扩展点。

基础知识

torch.export AOTInductor Python 运行时教程

学习一个端到端的示例，展示如何使用 AOTInductor 进行 python 运行时。

基础知识

torch.export 流程演示、常见挑战及解决方案

学习如何为流行的用例导出模型

编译器,TorchCompile

使用 Captum 进行模型可解释性分析

学习如何使用 Captum 将图像分类器的预测归因于其对应的图像特征，并可视化归因结果。

可解释性,Captum

如何在 PyTorch 中使用 TensorBoard

学习 PyTorch 中 TensorBoard 的基本用法，以及如何在 TensorBoard UI 中可视化数据

可视化,TensorBoard

DebugMode：记录已分派的操作和数值调试

检查分派的算子、张量哈希和模块边界，以调试 eager 和 ``torch.compile`` 运行。

可解释性,编译器

自动混合精度

使用 torch.cuda.amp 在 NVIDIA GPU 上减少运行时并节省内存。

模型优化

性能调优指南

实现最佳性能的技巧。

模型优化

使用 run_cpu 脚本优化 Intel® Xeon® 上的 CPU 性能

如何使用 run_cpu 脚本在 Intel® Xeon CPU 上获得最佳运行时配置。

模型优化

(测试版) 将 Torch 函数模式与 torch.compile 结合使用

使用 Torch Function 模式和 torch.compile 覆盖 torch 算子

模型优化

(beta) 使用 torch.compile 编译优化器

使用 torch.compile 加速优化器

模型优化

(beta) 使用 LR 调度器运行已编译的优化器

使用 LRScheduler 和 torch.compiled 优化器加速训练

模型优化

(beta) 使用 foreach_map 和 torch.compile 进行显式水平融合

使用 torch.compile 水平融合逐点算子

模型优化

使用 ``torch.compile`` 使用用户定义的 Triton 内核

学习如何使用用户定义的内核与 ``torch.compile``

模型优化

``torch.compile`` 中的编译时缓存

学习如何在 ``torch.compile`` 中使用编译时缓存

模型优化

编译时缓存配置

学习如何在 ``torch.compile`` 中配置编译时缓存

模型优化

通过区域编译减少 torch.compile 的冷启动编译时间

学习如何使用区域编译来控制冷启动编译时间

模型优化

Intel® Neural Compressor for PyTorch

使用 Intel® Neural Compressor 实现 PyTorch 的易用量化。

量化,模型优化

DeviceMesh 入门

学习如何使用 DeviceMesh

分布式训练

使用 ZeroRedundancyOptimizer 分片优化器状态

如何使用 ZeroRedundancyOptimizer 来减少内存消耗。

分布式训练

使用 TensorPipe RPC 进行直接设备到设备通信

如何使用具有直接 GPU 到 GPU 通信的 RPC。

分布式训练

分布式检查点 (DCP) 入门

学习如何使用 Distributed Checkpoint 包来检查点分布式模型。

分布式训练

异步检查点 (DCP)

学习如何使用 Distributed Checkpoint 包来检查点分布式模型。

分布式训练

CommDebugMode 入门

学习如何使用 CommDebugMode 来处理 DTensors

分布式训练

通过区域编译减少 AoT 冷启动编译时间

学习如何使用区域编译来控制 AoT 冷启动编译时间

模型优化