deep-dive

在 Google Colab 中运行

Colab

下载 Notebook

Notebook

在 GitHub 上查看

GitHub

深入解析

本节侧重于提升模型性能，包含关于性能分析、超参数调整、量化和其他优化 PyTorch 模型以提高效率和速度的技术教程。

---

PyTorch 性能分析

学习如何对 PyTorch 应用程序进行性能分析

性能分析

参数化教程

学习如何使用 torch.nn.utils.parametrize 对参数施加约束（例如，使其正交、对称正定、低秩...）

模型优化,最佳实践

剪枝教程

学习如何使用 torch.nn.utils.prune 对神经网络进行稀疏化，以及如何扩展它以实现您自己的自定义剪枝技术。

模型优化,最佳实践

Inductor CPU 后端调试和性能分析

学习 ``torch.compile`` 与 Inductor CPU 后端的使用、调试和性能分析。

模型优化,inductor

(beta) 使用缩放点积注意力实现高性能 Transformers

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它来构建 Transformer 组件。

模型优化,注意力,Transformer

卷积神经网络中的知识蒸馏

学习如何使用更强大的模型作为教师来提高轻量级模型的准确性。

模型优化,图像/视频

(beta) PyTorch 中的通道最后内存格式

了解通道最后内存格式的概述，并了解如何使用它来在内存中以保持维度的顺序排列 NCHW 张量。

内存格式,最佳实践,前端 APIs

前向模式自动微分

学习如何使用前向模式自动微分。

前端 APIs

雅可比矩阵、海森矩阵、hvp、vhp 等

学习如何使用 torch.func 计算高级自动微分量。

前端 APIs

模型集成

学习如何使用 torch.vmap 集成模型

前端 APIs

样本级梯度

学习如何使用 torch.func 计算样本级梯度

前端 APIs

神经正切核

学习如何使用 torch.func 计算神经切线核。

前端 APIs

使用 PyTorch C++ 前端

通过训练 DCGAN（一种生成模型）来生成 MNIST 数字图像，逐步完成使用 C++ 前端训练模型的完整示例。

前端 APIs,C++

C++ 前端中的 Autograd

autograd 包有助于构建灵活且动态的神经网络。在本教程中，探索在 PyTorch C++ 前端中进行 autograd 的几个示例

前端 APIs,C++