recipes_index

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

食谱

食谱是关于如何使用特定 PyTorch 功能的简洁、可操作的示例，与我们的完整教程不同。

---

定义神经网络

了解如何使用 PyTorch 的 torch.nn 包为 MNIST 数据集创建和定义神经网络。

基础知识

PyTorch 中的 state_dict 是什么

了解在保存或加载 PyTorch 模型时如何使用 state_dict 对象和 Python 字典。

基础知识

在 PyTorch 中使用来自不同模型的参数热启动模型

了解通过部分加载模型或加载部分模型来预热训练过程如何帮助您的模型比从头开始训练更快地收敛。

基础知识

在 PyTorch 中梯度清零

了解何时应将梯度归零以及这样做如何帮助提高模型的准确性。

基础知识

PyTorch Benchmark

了解如何使用 PyTorch 的 benchmark 模块来测量和比较代码的性能

基础知识

PyTorch Benchmark (快速入门)

了解如何测量代码片段的运行时间并收集指令。

基础知识

PyTorch Profiler

了解如何使用 PyTorch 的 profiler 来测量算子时间和内存消耗

基础知识

具有插桩和跟踪技术 API (ITT API) 支持的 PyTorch Profiler

了解如何在 Intel® VTune™ Profiler GUI 中使用具有插桩和跟踪技术 API (ITT API) 的 PyTorch profiler 来可视化算子标签

基础知识

使用 ``torch.compiler.set_stance`` 进行动态编译控制

了解如何使用 torch.compiler.set_stance

编译器

在 PyTorch 中推理形状

了解如何使用 meta 设备来推理模型中的形状。

基础知识

从 Checkpoint 加载 nn.Module 的技巧

了解从 checkpoint 加载 nn.Module 的技巧。

基础知识

(beta) 使用 TORCH_LOGS 观察 torch.compile

了解如何使用 torch 日志 API 来观察编译过程。

基础知识

nn.Module 中用于加载 state_dict 和 tensor 子类的扩展点

nn.Module 中的新扩展点。

基础知识

torch.export AOTInductor 教程（面向 Python 运行时）

学习一个端到端的示例，演示如何为 Python 运行时使用 AOTInductor。

基础知识

torch.export 流程演示、常见挑战及解决方案

了解如何为常用用例导出模型

编译器,TorchCompile

使用 Captum 进行模型可解释性分析

了解如何使用 Captum 将图像分类器的预测归因于其对应的图像特征，并可视化归因结果。

可解释性,Captum

如何在 PyTorch 中使用 TensorBoard

了解 TensorBoard 的基本用法，以及如何在 TensorBoard UI 中可视化数据

可视化,TensorBoard

自动混合精度

使用 torch.cuda.amp 在 NVIDIA GPU 上减少运行时并节省内存。

模型优化

性能调优指南

实现最佳性能的技巧。

模型优化

在 Intel® Xeon® 上优化 CPU 性能（使用 run_cpu 脚本）

如何在 Intel® Xeon CPU 上使用 run_cpu 脚本获得最佳运行时配置。

模型优化

(测试版) 将 Torch 函数模式与 torch.compile 结合使用

使用 Torch Function 模式和 torch.compile 覆盖 torch 算子

模型优化

(beta) 使用 torch.compile 编译优化器

使用 torch.compile 加速优化器

模型优化

(beta) 使用 LR 调度器运行已编译的优化器

使用 LRScheduler 和 torch.compiled 优化器加速训练

模型优化

(beta) 使用 foreach_map 和 torch.compile 进行显式水平融合

使用 torch.compile 水平融合点对点操作

模型优化

使用用户定义的 Triton 内核配合 ``torch.compile``

了解如何使用用户定义的内核配合 ``torch.compile``

模型优化

``torch.compile`` 中的编译时缓存

了解如何在 ``torch.compile`` 中使用编译时缓存

模型优化

编译时缓存配置

了解如何在 ``torch.compile`` 中配置编译时缓存

模型优化

通过区域编译减少 torch.compile 的冷启动编译时间

了解如何使用区域编译来控制冷启动编译时间

模型优化

Intel® Neural Compressor for PyTorch

通过 Intel® Neural Compressor 实现 PyTorch 的易用量化。

量化,模型优化

DeviceMesh 入门

了解如何使用 DeviceMesh

分布式训练

使用 ZeroRedundancyOptimizer 分片优化器状态

如何使用 ZeroRedundancyOptimizer 减少内存消耗。

分布式训练

使用 TensorPipe RPC 进行直接设备到设备通信

如何使用具有直接 GPU 到 GPU 通信的 RPC。

分布式训练

分布式检查点 (DCP) 入门

了解如何使用 Distributed Checkpoint 包来 checkpoint 分布式模型。

分布式训练

异步 checkpoint (DCP)

了解如何使用 Distributed Checkpoint 包来 checkpoint 分布式模型。

分布式训练

CommDebugMode 入门

了解如何将 CommDebugMode 用于 DTensors

分布式训练

通过区域编译减少 AoT 冷启动编译时间

了解如何使用区域编译来控制 AoT 冷启动编译时间

模型优化