欢迎阅读 torchao 文档

torchao 是一个用于自定义数据类型和优化的库。使用原生 PyTorch 对权重、梯度、优化器和激活进行量化和稀疏化，以用于推理和训练。请查看 torchao README 以了解该库的总体介绍以及最近的亮点和更新。

入门指南

• 快速入门指南

开发者须知

• 量化概述
• 稀疏性概述
• 贡献者指南
• 基准测试 API 指南
• 基准测试用户指南

API 参考

• torchao.dtypes
• torchao.quantization
• torchao.sparsity
• torchao.float8

Eager 模式量化教程

• （第 1 部分）使用 float8 进行预训练
• （第 2 部分）使用 QAT、QLoRA 和 float8 进行微调
• （第 3 部分）在 vLLM、SGLang、ExecuTorch 上提供服务
• 与 VLLM 的集成：架构和使用指南
• 序列化
• 静态量化
• 编写自己的量化张量
• 编写自己的量化张量（高级）

PT2E 量化教程

• PyTorch 2 导出训练后量化
• PyTorch 2 导出量化感知训练 (QAT)
• 通过 Inductor 使用 X86 后端进行 PyTorch 2 导出量化
• 通过 Inductor 使用 Intel GPU 后端进行 PyTorch 2 导出量化
• 用于 OpenVINO torch.compile 后端的 PyTorch 2 导出量化
• 如何为 PyTorch 2 导出量化编写 Quantizer