深入探讨

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

深入探讨

本节旨在提高模型性能，包含关于性能分析、超参数调整、量化以及其他优化 PyTorch 模型以提高效率和速度的教程。

---

PyTorch 性能分析

了解如何分析 PyTorch 应用程序的性能

性能分析

参数化教程

了解如何使用 torch.nn.utils.parametrize 为您的参数施加约束（例如，使其正交、对称正定、低秩……）

模型优化,最佳实践

剪枝教程

了解如何使用 torch.nn.utils.prune 来稀疏化您的神经网络，以及如何扩展它来实现您自己的自定义剪枝技术。

模型优化,最佳实践

Inductor CPU 后端调试和性能分析

学习 ``torch.compile`` 与 Inductor CPU 后端的使用、调试和性能分析。

模型优化,Inductor

(Beta) 使用缩放点积注意力实现高性能 Transformer

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它来构建 Transformer 组件。

模型优化,注意力,Transformer

卷积神经网络中的知识蒸馏

了解如何使用更强大的模型作为教师来提高轻量级模型的准确性。

模型优化,图像/视频

(Beta) PyTorch 中的 Channels Last 内存格式

概述 Channels Last 内存格式，并了解如何使用它来排序内存中的 NCHW 张量，同时保留维度。

内存格式,最佳实践,前端 API

前向模式自动微分

了解如何使用前向模式自动微分。

前端 API

雅可比矩阵、Hessian 矩阵、hvp、vhp 等

了解如何使用 torch.func 计算高级自动微分量。

前端 API

模型集成

了解如何使用 torch.vmap 来集成模型。

前端 API

每个样本的梯度

了解如何使用 torch.func 计算每个样本的梯度。

前端 API

神经正切核

了解如何使用 torch.func 计算神经切线核。

前端 API

使用 PyTorch C++ 前端

通过一个端到端的 C++ 前端模型训练示例，训练一个 DCGAN（一种生成模型）来生成 MNIST 数字图像。

前端 API,C++

C++ 前端中的 Autograd

autograd 包有助于构建灵活且动态的神经网络。在本教程中，探索在 PyTorch C++ 前端进行 autograd 的几个示例。

前端 API,C++