深入解析

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

深入解析

本节专注于提升模型性能，包含了关于分析、超参数调优、量化以及其他优化 PyTorch 模型以提高效率和速度的技术教程。

---

PyTorch 分析

了解如何分析 PyTorch 应用程序

性能分析

参数化教程

了解如何使用 torch.nn.utils.parametrize 对参数施加约束（例如，使其正交、对称正定、低秩……）

模型优化,最佳实践

剪枝教程

了解如何使用 torch.nn.utils.prune 来稀疏化你的神经网络，以及如何扩展它来实现你自己的自定义剪枝技术。

模型优化,最佳实践

Inductor CPU 后端调试和性能分析

学习 ``torch.compile`` 与 Inductor CPU 后端的使用、调试和性能分析。

模型优化,inductor

(Beta版) 使用 SCALED DOT PRODUCT ATTENTION 实现高性能 Transformer

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它来构建 Transformer 组件。

模型优化,Attention,Transformer

卷积神经网络中的知识蒸馏

了解如何使用更强大的模型作为教师来提高轻量级模型的准确性。

模型优化,图像/视频

(Beta版) PyTorch 中的 Channels Last 内存格式

概览 Channels Last 内存格式，并了解它如何用于排序内存中的 NCHW 张量，同时保持维度不变。

内存格式,最佳实践,前端 API

前向模式自动微分

了解如何使用前向模式自动微分。

前端 API

Jacobians, Hessians, hvp, vhp 等

了解如何使用 torch.func 计算高级自动微分量。

前端 API

模型集成

了解如何使用 torch.vmap 集成模型。

前端 API

按样本计算的梯度

了解如何使用 torch.func 计算按样本计算的梯度。

前端 API

神经正切核

了解如何使用 torch.func 计算神经切线核。

前端 API

使用 PyTorch C++ 前端

通过一个端到端的示例，使用 C++ 前端训练模型，训练一个 DCGAN（一种生成模型）来生成 MNIST 数字图像。

前端 API,C++

C++ 前端中的 Autograd

autograd 包有助于构建灵活的动态神经网络。在本教程中，探索在 PyTorch C++ 前端进行自动微分的几个示例。

前端 API,C++