Torch-TensorRT

在框架内编译用于 NVIDIA GPU 的 PyTorch 推理代码

Torch-TensorRT 是一个用于 PyTorch 的推理编译器，通过 NVIDIA 的 TensorRT 深度学习优化器和运行时，面向 NVIDIA GPU。它支持通过 torch.compile 接口的即时 (JIT) 编译工作流以及预先 (AOT) 编译工作流。Torch-TensorRT 无缝集成到 PyTorch 生态系统中，支持将优化的 TensorRT 代码与标准 PyTorch 代码混合执行。

更多信息 / 系统架构

• Torch-TensorRT 2.0

入门指南

• 安装

用户指南

• Torch-TensorRT 详解

• 使用 Torch-TensorRT 处理动态形状

• 训练后量化 (PTQ)

• 保存用 Torch-TensorRT 编译的模型

• 部署 Torch-TensorRT 程序

• DLA

• 使用 Torch-TensorRT 编译混合精度模型

教程

• Torch Compile 高级用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎缓存

• 引擎缓存 (BERT)

• 使用新权重重新拟合 Torch-TensorRT 程序

• 使用 Triton 服务 Torch-TensorRT 模型

• 使用 Cudagraphs 的 Torch Export

• 使用自定义转换器重载 Torch-TensorRT 转换器

• 在 TensorRT 引擎中使用 Torch-TensorRT 的自定义内核

• 为自定义内核自动生成转换器

• 为自定义内核自动生成插件

• 可变的 Torch TensorRT 模块

• 权重流式传输

• 预分配的输出缓冲区

Dynamo 前端

• 用于 torch.compile 的 TensorRT 后端

• 使用 Torch-TensorRT 编译导出的程序

TorchScript 前端

• 创建 TorchScript 模块

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接从 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 用户指南

模型库

• 使用 torch.compile 后端编译具有动态形状的 ResNet

• 使用 torch.compile 后端编译 BERT

• 使用 torch.compile 后端编译 Stable Diffusion 模型

• 编译来自 Huggingface 的 LLM 模型

• 使用 Torch-TensorRT torch.compile 前端编译 GPT2

• torch_export_gpt2

• 使用 dynamo 后端编译 SAM2

• 旧版笔记本

Python API 文档

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文档

• 命名空间 torch_tensorrt

• 命名空间 torch_tensorrt::logging

• 命名空间 torch_tensorrt::ptq

• 命名空间 torch_tensorrt::torchscript

CLI 文档

• torchtrtc

贡献者文档

• 系统概述

• 编写 Dynamo 转换器

• 编写 Dynamo ATen 降级通道

• 编写 TorchScript 转换器

• Torch-TensorRT 开发的有用链接

索引

• 支持的操作符

• 索引

• 搜索页面

旧版更多信息 (TorchScript)

• 介绍性博客文章

• GTC 2020 演讲

• GTC 2020 秋季演讲

• GTC 2021 演讲

• GTC 2021 秋季演讲

• 2021 年 PyTorch 生态系统日

• 2021 年 PyTorch 开发者大会

• 2022 年 PyTorch 开发者大会