安装

预编译二进制文件

Torch-TensorRT 2.x 主要围绕 Python。因此，预编译版本可以在 pypi.org 上找到

依赖项

您需要安装 CUDA、PyTorch 和 TensorRT（Python 包即可）才能使用 Torch-TensorRT

• https://developer.nvidia.com/cuda

• https://pytorch.ac.cn

安装 Torch-TensorRT

您可以使用以下命令安装 Python 包

python -m pip install torch torch-tensorrt tensorrt

软件包适用于 x86 上的 Linux 和 Windows

为特定 CUDA 版本安装 Torch-TensorRT

与 PyTorch 类似，Torch-TensorRT 有为不同 CUDA 版本编译的构建版本。这些版本在 PyTorch 的包索引上分发

例如 CUDA 11.8

python -m pip install torch torch-tensorrt tensorrt --extra-index-url https://download.pytorch.org/whl/cu118

安装夜间构建版本

Torch-TensorRT 分发面向 PyTorch 夜间构建的夜间版本。这些可以从 PyTorch 的夜间包索引（按 CUDA 版本分隔）安装

python -m pip install --pre torch torch-tensorrt tensorrt --extra-index-url https://download.pytorch.org/whl/nightly/cu130

C++ 预编译二进制文件（仅限 TorchScript）

发布版本的预编译 tarball 可以在这里找到：https://github.com/pytorch/TensorRT/releases

从源代码编译

在 Linux 上构建

依赖项

• Torch-TensorRT 使用 Bazel 构建，所以首先要安装它。

  • 最简单的方法是使用您选择的方法安装 bazelisk：https://github.com/bazelbuild/bazelisk

  • 否则，您可以使用以下说明安装二进制文件：https://docs.bazel.build/versions/master/install.html

  • 最后，如果您需要从源代码编译（例如，aarch64 直到 bazel 为该体系结构分发二进制文件），您可以使用这些说明

  export BAZEL_VERSION=$(cat <PATH_TO_TORCHTRT_ROOT>/.bazelversion)
  mkdir bazel
  cd bazel
  curl -fSsL -O https://github.com/bazelbuild/bazel/releases/download/$BAZEL_VERSION/bazel-$BAZEL_VERSION-dist.zip
  unzip bazel-$BAZEL_VERSION-dist.zip
  bash ./compile.sh
  cp output/bazel /usr/local/bin/
  

• 您还需要在系统上安装 CUDA（或者，如果运行在容器中，系统必须安装 CUDA 驱动程序，并且容器必须包含 CUDA）

  • 在此指定您的 CUDA 版本，如果不是正在构建的分支中使用的版本：https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L46

• 正确的 LibTorch 和 TensorRT 版本将由 bazel 为您拉取。

  注意：默认情况下，bazel 将从 pytorch.org 拉取最新的夜间版本。对于构建主分支，这通常足够了。但是，如果您要针对特定的 PyTorch 版本，请使用更新的 URL/路径编辑这些位置

  • https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L53C1-L53C1

• 构建 Torch-TensorRT 不需要安装 TensorRT，实际上这更可取，以确保可复现的构建。如果需要默认值以外的版本，请将 WORKSPACE 文件指向 tarball 的 URL，或从 https://developer.nvidia.com 下载 TensorRT 的 tarball，并在此处更新 WORKSPACE 文件中的路径：https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L71

  例如

  http_archive(
      name = "tensorrt",
      build_file = "@//third_party/tensorrt/archive:BUILD",
      sha256 = "<TENSORRT SHA256>", # Optional but recommended
      strip_prefix = "TensorRT-<TENSORRT VERSION>",
      urls = [
          "https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/<TENSORRT DOWNLOAD PATH>",
          # OR
          "file:///<ABSOLUTE PATH TO FILE>/TensorRT-<TENSORRT VERSION>.Linux.x86_64-gnu.cuda-<CUDA VERSION>.tar.gz"
      ],
  )
  

  请记住，在运行时，这些库必须显式添加到您的 LD_LIBRARY_PATH 中

如果您有本地安装的 TensorRT 版本，也可以使用它，方法是注释掉上面的行并取消注释以下行：https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L114C1-L124C3

构建软件包

一旦 WORKSPACE 配置正确，构建 torch-tensorrt 所需的只是以下命令

python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu130

如果您使用 uv（https://docs.astral.ac.cn/uv/）工具来管理 Python 和您的项目，命令会稍微简单一些

uv pip install -e .

构建 wheel 文件

python -m pip wheel --no-deps --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu130 -w dist

附加构建选项

库中的某些功能是可选的，允许构建更轻量或更具可移植性。

仅 Python 发行版

库中有多种功能需要启用 C++ 组件。这包括接受 TorchScript 模块进行编译的 TorchScript 前端，以及 Torch-TensorRT 运行时（通过 TorchScript 或 Dynamo 前端编译的模块的默认执行器）。

如果您需要一个不需要 C++ 的构建版本，您可以禁用这些功能并避免构建这些组件。结果是，唯一可用的运行时将是基于 Python 的运行时，这会对序列化等功能产生影响。

PYTHON_ONLY=1 python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu130

无 TorchScript 前端

TorchScript 前端是 Torch-TensorRT 的遗留功能，目前处于维护状态，因为 TorchDynamo 已成为该项目首选的编译器技术。它包含相当多的 C++ 代码，这些代码对于大多数用户来说不再是必需的。因此，您可以从构建中排除此组件以加快构建时间。基于 C++ 的运行时仍可供使用。

NO_TORCHSCRIPT=1 python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu130

独立构建 C++ 库（仅限 TorchScript）

发布构建

bazel build //:libtorchtrt -c opt

包含头文件和库的 tarball 可以在 bazel-bin 中找到

调试构建

使用调试符号进行构建，请使用以下命令

bazel build //:libtorchtrt -c dbg

包含头文件和库的 tarball 可以在 bazel-bin 中找到

选择正确的 ABI

对于旧版本，有两种不兼容的 ABI 选项可供编译 Torch-TensorRT：pre-cxx11-abi 和 cxx11-abi。这种复杂性源于 PyTorch 的不同发行版。幸运的是，PyTorch 已切换到所有发行版的 cxx11-abi。下表列出了 PyTorch 分发来源的通用配对和推荐命令

PyTorch 来源	推荐的 Python 编译命令	推荐的 C++ 编译命令
来自 PyTorch.org 的 PyTorch whl 文件	python -m pip install .	bazel build //:libtorchtrt -c opt
来自 PyTorch.org 的 libtorch-cxx11-abi-shared-with-deps-*.zip	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
预装在 NGC 容器中的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
来自 NVIDIA Jetson 论坛的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
从源代码构建的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt

注意：对于以上所有情况，您都必须在 WORKSPACE 文件中正确声明您打算使用的 PyTorch 来源，用于 Python 和 C++ 构建。有关更多信息，请参阅下面的内容

在 Windows 上构建

• Microsoft VS 2022 工具

• Bazelisk

• CUDA

构建步骤

• 打开应用程序“x64 Native Tools Command Prompt for VS 2022”——请注意，可能需要管理员权限

• 确保 Bazelisk（Bazel 启动器）已安装在您的计算机上，并且可以从命令行访问。Chocolatey 等包安装程序可用于安装 Bazelisk

• 安装最新版本的 Torch（例如，使用 pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu130）

• 克隆 Torch-TensorRT 仓库并导航到其根目录

• 运行 pip install ninja wheel setuptools

• 运行 pip install --pre -r py/requirements.txt

• 运行 set DISTUTILS_USE_SDK=1

• 运行 python setup.py bdist_wheel

• 运行 pip install dist/*.whl

高级设置和故障排除

在 WORKSPACE 文件中，cuda_win、libtorch_win 和 tensorrt_win 是 Windows 特定的模块，可以进行自定义。例如，如果您想使用不同版本的 CUDA 进行构建，或者您的 CUDA 安装在非标准位置，请更新 cuda_win 模块中的 path。

类似地，如果您想使用不同版本的 pytorch 或 tensorrt，请分别自定义 libtorch_win 和 tensorrt_win 模块中的 urls。

在 Windows 上也可以使用这些包的本地版本。有关在 Windows 上使用本地 TensorRT 版本的示例，请参阅 toolchains\\ci_workspaces\\WORKSPACE.win.release.tmpl。

替代构建系统

使用 CMake 构建（仅限 TorchScript）

可以使用 CMake 而不是 Bazel 来构建 API 库（在 cpp/）和 torchtrtc 可执行文件。目前，Python API 和测试无法使用 CMake 构建。首先安装 CMake。

• CMake 的最新版本和安装说明可在其网站上为不同平台提供：[在他们网站上](https://cmake.com.cn/download/)。

一些有用的 CMake 选项包括

• TensorRT 的 CMake 查找器在 cmake/Modules 中提供。为了让 CMake 使用它们，在用 CMake 配置项目时传递 -DCMAKE_MODULE_PATH=cmake/Modules。

• Libtorch 提供自己的 CMake 查找器。如果 CMake 找不到它，请使用 -DTorch_DIR=<libtorch 的路径>/share/cmake/Torch 传递到您的 libtorch 安装的路径。

• 如果使用提供的 cmake 查找器找不到 TensorRT，请指定 -DTensorRT_ROOT=<TensorRT 的路径>。

• 最后，使用以下命令从 Torch-TensorRT 项目的根目录在您选择的构建目录中配置和构建项目

cmake -S. -B<build directory> \
    [-DCMAKE_MODULE_PATH=cmake/Module] \
    [-DTorch_DIR=<path to libtorch>/share/cmake/Torch] \
    [-DTensorRT_ROOT=<path to TensorRT>] \
    [-DCMAKE_BUILD_TYPE=Debug|Release]
cmake --build <build directory>

在 aarch64（Jetson）上本地构建

先决条件

为 aarch64 安装或编译 PyTorch/LibTorch 的构建版本

NVIDIA 在这里托管 Jetson 的最新发布分支的构建版本

https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-10-now-available/72048

环境设置

要在 aarch64-linux-gnu 平台上本地构建，请使用本地可用的依赖项配置 WORKSPACE。

1. 将 WORKSPACE 替换为 //toolchains/jp_workspaces 中的相应 WORKSPACE 文件

2. 在 new_local_repository 规则中配置本地依赖项目录根的正确路径

   注意：如果您使用 pip 包安装了 PyTorch，则正确路径是 Python torch 包根目录的路径。如果您使用 sudo pip install 安装，它将是 /usr/local/lib/python3.8/dist-packages/torch。如果您使用 pip install --user 安装，它将是 $HOME/.local/lib/python3.8/site-packages/torch。

new_local_repository(
    name = "libtorch",
    path = "/usr/local/lib/python3.8/dist-packages/torch",
    build_file = "third_party/libtorch/BUILD"
)

编译 C++ 库和编译器 CLI

注意：由于 Jetpack 4.5 和 4.6 之间依赖项位置的变动，现在有一个标志可以告知 bazel Jetpack 版本

--platforms //toolchains:jetpack_x.x

使用 bazel 命令编译 Torch-TensorRT 库

bazel build //:libtorchtrt --platforms //toolchains:jetpack_5.0

编译 Python API

注意：由于 Jetpack 4.5 和更新的 Jetpack 版本之间的依赖项位置变动，现在有一个用于 setup.py 的标志，用于设置 jetpack 版本（默认值：5.0）

从 //py 目录运行以下命令来编译 Python API

python3 setup.py install

如果您为 Jetpack 4.5 构建，请添加 --jetpack-version 5.0 标志