安装

预编译二进制文件

Torch-TensorRT 2.x 主要以 Python 为中心。因此，预编译的发布版本可以在 pypi.org 上找到。

依赖项

您需要安装 CUDA、PyTorch 和 TensorRT (Python 包即可) 才能使用 Torch-TensorRT

• https://developer.nvidia.com/cuda

• https://pytorch.ac.cn

安装 Torch-TensorRT

您可以使用以下命令安装 Python 包

python -m pip install torch torch-tensorrt tensorrt

软件包已上传，适用于 x86 架构的 Linux 和 Windows 系统。

为特定 CUDA 版本安装 Torch-TensorRT

与 PyTorch 类似，Torch-TensorRT 也有针对不同 CUDA 版本编译的构建。这些构建发布在 PyTorch 的包索引上。

例如 CUDA 11.8

python -m pip install torch torch-tensorrt tensorrt --extra-index-url https://download.pytorch.org/whl/cu118

安装每日构建版本 (Nightly Builds)

Torch-TensorRT 分发针对 PyTorch 每日构建版的每日构建版本。这些版本可以从 PyTorch 的每日构建包索引中安装 (按 CUDA 版本区分)。

python -m pip install --pre torch torch-tensorrt tensorrt --extra-index-url https://download.pytorch.org/whl/nightly/cu128

C++ 预编译二进制文件 (仅限 TorchScript)

预编译的 tarball 发布版本在此处提供：https://github.com/pytorch/TensorRT/releases

从源代码编译

在 Linux 上构建

依赖项

• Torch-TensorRT 是用 **Bazel** 构建的，所以请先安装它。

  • 最简单的方法是使用您选择的方式安装 bazelisk https://github.com/bazelbuild/bazelisk

  • 或者您可以使用以下说明安装二进制文件 https://docs.bazel.build/versions/master/install.html

  • 最后，如果您需要从源代码编译（例如，在 aarch64 上，直到 bazel 为该架构分发二进制文件），您可以使用这些说明

  export BAZEL_VERSION=$(cat <PATH_TO_TORCHTRT_ROOT>/.bazelversion)
  mkdir bazel
  cd bazel
  curl -fSsL -O https://github.com/bazelbuild/bazel/releases/download/$BAZEL_VERSION/bazel-$BAZEL_VERSION-dist.zip
  unzip bazel-$BAZEL_VERSION-dist.zip
  bash ./compile.sh
  cp output/bazel /usr/local/bin/
  

• 您还需要在系统上安装 **CUDA** (或者，如果在容器中运行，系统必须安装了 CUDA 驱动程序，并且容器必须有 CUDA)。

  • 如果不是正在构建的分支中使用的版本，请在此处指定您的 CUDA 版本：https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L46

• 正确的 **LibTorch** 和 **TensorRT** 版本将由 bazel 自动为您下载。

  注意：默认情况下，bazel 将从 pytorch.org 拉取最新的每日构建版。对于构建 main 分支，这通常足够了，但如果您有特定版本的 PyTorch，请编辑这些位置以更新 URL/路径

  • https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L53C1-L53C1

• **TensorRT** 不是必需安装在系统上才能构建 Torch-TensorRT，实际上，为了确保可复现的构建，这反而是首选。如果需要非默认版本，请将 WORKSPACE 文件指向 tarball 的 URL，或者从 https://developer.nvidia.com 下载 TensorRT 的 tarball，并在此处更新 WORKSPACE 文件中的路径 https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L71

  例如

  http_archive(
      name = "tensorrt",
      build_file = "@//third_party/tensorrt/archive:BUILD",
      sha256 = "<TENSORRT SHA256>", # Optional but recommended
      strip_prefix = "TensorRT-<TENSORRT VERSION>",
      urls = [
          "https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/<TENSORRT DOWNLOAD PATH>",
          # OR
          "file:///<ABSOLUTE PATH TO FILE>/TensorRT-<TENSORRT VERSION>.Linux.x86_64-gnu.cuda-<CUDA VERSION>.tar.gz"
      ],
  )
  

  请记住，在运行时，这些库必须显式地添加到您的 LD_LIBRARY_PATH 中。

如果您安装了本地版本的 TensorRT，也可以使用它，方法是注释掉上面的行，并取消注释以下行 https://github.com/pytorch/TensorRT/blob/4e5b0f6e860910eb510fa70a76ee3eb9825e7a4d/WORKSPACE#L114C1-L124C3

构建软件包

一旦 WORKSPACE 配置正确，构建 torch-tensorrt 只需以下命令

python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu128

如果您使用 uv (https://docs.astral.ac.cn/uv/) 工具来管理 python 和您的项目，命令会稍微简单一些

uv pip install -e .

要构建 wheel 文件

python -m pip wheel --no-deps --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu128 -w dist

额外的构建选项

库中的某些功能是可选的，这使得构建可以更轻量或更具可移植性。

仅 Python 发行版

库的多个功能需要启用 C++ 组件。这包括接受 TorchScript 模块进行编译的 TorchScript 前端，以及 Torch-TensorRT 运行时——无论是使用 TorchScript 还是 Dynamo 前端编译的模块，它都是默认的执行器。

如果您想要一个不需要 C++ 的构建，可以禁用这些功能并避免构建这些组件。因此，唯一可用的运行时将是基于 Python 的，这对序列化等功能有影响。

PYTHON_ONLY=1 python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu128

无 TorchScript 前端

TorchScript 前端是 Torch-TensorRT 的一个遗留功能，现在处于维护状态，因为 TorchDynamo 已成为该项目的首选编译器技术。它包含大量 C++ 代码，对大多数用户来说已不再必要。因此，您可以从构建中排除此组件以加快构建时间。基于 C++ 的运行时仍然可以使用。

NO_TORCHSCRIPT=1 python -m pip install --pre . --extra-index-url https://download.pytorch.org/whl/nightly/cu128

独立构建 C++ 库 (仅限 TorchScript)

发布构建

bazel build //:libtorchtrt -c opt

然后可以在 bazel-bin 中找到包含头文件和库的 tarball。

调试构建

要构建带有调试符号的版本，请使用以下命令

bazel build //:libtorchtrt -c dbg

然后可以在 bazel-bin 中找到包含头文件和库的 tarball。

选择正确的 ABI

对于旧版本，编译 Torch-TensorRT 有两种 ABI 选项，它们彼此不兼容：pre-cxx11-abi 和 cxx11-abi。复杂性来自于 PyTorch 的不同发行版。幸运的是，PyTorch 已将所有发行版都切换为 cxx11-abi。下表列出了 PyTorch 发行版来源与推荐命令的一般配对。

PyTorch 来源	推荐的 Python 编译命令	推荐的 C++ 编译命令
来自 PyTorch.org 的 PyTorch whl 文件	python -m pip install .	bazel build //:libtorchtrt -c opt
来自 PyTorch.org 的 libtorch-cxx11-abi-shared-with-deps-*.zip	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
NGC 容器中预装的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
来自 NVIDIA 论坛的适用于 Jetson 的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt
从源代码构建的 PyTorch	python setup.py bdist_wheel	bazel build //:libtorchtrt -c opt

注意：对于以上所有情况，您必须在 WORKSPACE 文件中正确声明您打算使用的 PyTorch 来源，这适用于 Python 和 C++ 的构建。更多信息请参见下文。

在 Windows 上构建

• Microsoft VS 2022 工具

• Bazelisk

• CUDA

构建步骤

• 打开“x64 Native Tools Command Prompt for VS 2022”应用程序——注意可能需要管理员权限。

• 确保您的机器上已安装 Bazelisk (Bazel 启动器) 并且可以从命令行访问。可以使用像 Chocolatey 这样的包安装程序来安装 Bazelisk。

• 安装最新版本的 Torch (例如，使用 pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu128)

• 克隆 Torch-TensorRT 仓库并导航到其根目录

• 运行 pip install ninja wheel setuptools

• 运行 pip install --pre -r py/requirements.txt

• 运行 set DISTUTILS_USE_SDK=1

• 运行 python setup.py bdist_wheel

• 运行 pip install dist/*.whl

高级设置和故障排除

在 WORKSPACE 文件中，cuda_win, libtorch_win, 和 tensorrt_win 是 Windows 特定的模块，可以进行自定义。例如，如果您想使用不同版本的 CUDA，或者您的 CUDA 安装在非标准位置，请更新 cuda_win 模块中的 path。

同样，如果您想使用不同版本的 pytorch 或 tensorrt，请分别在 libtorch_win 和 tensorrt_win 模块中自定义 urls。

这些包的本地版本也可以在 Windows 上使用。有关在 Windows 上使用本地版本 TensorRT 的示例，请参阅 toolchains\\ci_workspaces\\WORKSPACE.win.release.tmpl。

替代构建系统

使用 CMake 构建 (仅限 TorchScript)

可以使用 CMake 而非 Bazel 来构建 API 库 (在 cpp/ 中) 和 torchtrtc 可执行文件。目前，Python API 和测试无法使用 CMake 构建。首先请安装 CMake。

• 最新版本的 CMake 及其安装说明可在其[网站](https://cmake.com.cn/download/)上找到，适用于不同平台。

一些有用的 CMake 选项包括

• TensorRT 的 CMake 查找器在 cmake/Modules 中提供。为了让 CMake 使用它们，在用 CMake 配置项目时传递 -DCMAKE_MODULE_PATH=cmake/Modules。

• Libtorch 提供自己的 CMake 查找器。如果 CMake 找不到它，请使用 -DTorch_DIR=<path to libtorch>/share/cmake/Torch 传递您的 libtorch 安装路径。

• 如果提供的 cmake 查找器找不到 TensorRT，请指定 -DTensorRT_ROOT=<path to TensorRT>

• 最后，在您选择的构建目录中，从 Torch-TensorRT 项目的根目录运行以下命令来配置和构建项目

cmake -S. -B<build directory> \
    [-DCMAKE_MODULE_PATH=cmake/Module] \
    [-DTorch_DIR=<path to libtorch>/share/cmake/Torch] \
    [-DTensorRT_ROOT=<path to TensorRT>] \
    [-DCMAKE_BUILD_TYPE=Debug|Release]
cmake --build <build directory>

在 aarch64 (Jetson) 上原生构建

先决条件

为 aarch64 安装或编译一个 PyTorch/LibTorch 构建

NVIDIA 在此托管了适用于 Jetson 的最新发布分支的构建

https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-10-now-available/72048

环境设置

要在 aarch64-linux-gnu 平台上原生构建，请使用本地可用依赖项配置 WORKSPACE。

1. 将 WORKSPACE 替换为 //toolchains/jp_workspaces 中相应的 WORKSPACE 文件。

2. 在 new_local_repository 规则中配置包含本地依赖项的目录根的正确路径。

   注意：如果您使用 pip 包安装 PyTorch，正确的路径是 python torch 包的根路径。如果您使用 sudo pip install 安装，路径将是 /usr/local/lib/python3.8/dist-packages/torch。如果您使用 pip install --user 安装，路径将是 $HOME/.local/lib/python3.8/site-packages/torch。

new_local_repository(
    name = "libtorch",
    path = "/usr/local/lib/python3.8/dist-packages/torch",
    build_file = "third_party/libtorch/BUILD"
)

编译 C++ 库和编译器 CLI

注意：由于 Jetpack 4.5 和 4.6 之间的依赖位置发生变化，现在有一个标志用于告知 bazel Jetpack 的版本。

--platforms //toolchains:jetpack_x.x

使用 bazel 命令编译 Torch-TensorRT 库

bazel build //:libtorchtrt --platforms //toolchains:jetpack_5.0

编译 Python API

注意：由于 Jetpack 4.5 和更新的 Jetpack 版本之间的依赖位置发生了变化，现在 setup.py 有一个标志用于设置 jetpack 版本（默认为 5.0）。

从 //py 目录使用以下命令编译 Python API

python3 setup.py install

如果您正在为 Jetpack 4.5 构建，请添加 --jetpack-version 5.0 标志。