• 文档 >
  • 使用 OpenVINO 后端构建和运行 ExecuTorch
快捷方式

使用 OpenVINO 后端构建和运行 ExecuTorch

在本教程中,我们将引导您完成设置先决条件、构建 OpenVINO 后端库、使用 OpenVINO 优化导出 `.pte` 模型以及在 Intel 硬件上执行导出模型的整个过程。

本教程将学到什么
  • 在本教程中,您将学习如何降低模型并使用 OpenVINO 进行部署。

OpenVINO 简介

OpenVINO 是一个开源工具包,旨在通过降低延迟和提高吞吐量来增强 Intel 硬件上的 AI 推理性能,同时保持准确性。它优化硬件利用率,并简化跨计算机视觉、大型语言模型 (LLM) 和生成式 AI 等领域的 AI 开发和深度学习集成。

OpenVINO 集成到 Executorch 中作为代理,以加速使用 Executorch API 部署的 AI 应用程序。

支持的硬件

OpenVINO 后端支持以下硬件:

  • Intel CPU

  • Intel 集成 GPU

  • Intel 独立 GPU

  • Intel NPU

有关支持硬件的更多信息,请参阅 OpenVINO 系统要求 页面。

构建 OpenVINO 后端的说明

先决条件

在开始之前,请确保您的系统已安装并配置了 OpenVINO。

git clone https://github.com/openvinotoolkit/openvino.git
cd openvino && git checkout releases/2025/1
git submodule update --init --recursive
sudo ./install_build_dependencies.sh
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release -DENABLE_PYTHON=ON
make -j<N>

cd ..
cmake --install build --prefix <your_preferred_install_location>
cd <your_preferred_install_location>
source setupvars.sh

注意:当前 OpenVINO 发行版软件包尚不支持 OpenVINO 后端。建议从源代码构建。有关使用 OpenVINO 发行版软件包的说明将很快添加。有关 OpenVINO 构建的更多信息,请参阅 OpenVINO 构建说明

设置

请按照以下步骤设置您的构建环境:

  1. 设置 ExecuTorch 环境:有关设置 ExecuTorch 环境的详细说明,请参阅 环境设置 指南。

  2. 设置 OpenVINO 后端环境

  • 安装依赖库。请确保您位于 executorch/backends/openvino/ 目录中。

    pip install -r requirements.txt
    
  1. 导航到 scripts/ 目录。

  2. 构建 OpenVINO 后端:在准备好先决条件后,运行 openvino_build.sh 脚本开始构建过程。OpenVINO 后端将构建在 cmake-out/backends/openvino/ 目录下,名为 libopenvino_backend.a

    ./openvino_build.sh
    

示例的构建说明

AOT 步骤:

有关使用 Executorch 将各种模型套件(TIMM、Torchvision、Hugging Face)中的深度学习模型导出到 OpenVINO 后端的详细说明,请参阅 executorch/examples/openvino 文件夹中的 README.md。用户可以动态指定模型、输入形状和目标设备。

以下是一个导出 Torchvision 模型套件中的 ResNet50 模型以供 CPU 设备使用的示例,其输入形状为 [1, 3, 256, 256]

cd executorch/examples/openvino
python aot_optimize_and_infer.py --export --suite torchvision --model resnet50 --input_shape "(1, 3, 256, 256)" --device CPU

导出的模型将保存在当前目录中,名为“resnet50.pte”。

构建 C++ OpenVINO 示例

在按照上述 说明 构建 OpenVINO 后端后,可执行文件将保存在 <executorch_root>/cmake-out/backends/openvino/ 中。

可执行文件需要一个模型文件(在 AOT 步骤中生成的 `.pte` 文件)以及推理执行次数。

示例用法

使用给定模型运行 10 次推理执行。

./openvino_executor_runner \
    --model_path=model.pte \
    --num_executions=10

支持

如果您在重现本教程时遇到任何问题,请在 ExecuTorch 存储库中创建一个 GitHub issue,并标记 #openvino

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源