使用 OpenVINO 后端构建和运行 ExecuTorch¶
在本教程中,我们将引导您完成设置先决条件、构建 OpenVINO 后端库、使用 OpenVINO 优化导出 `.pte` 模型以及在 Intel 硬件上执行导出模型的整个过程。
在本教程中,您将学习如何降低模型并使用 OpenVINO 进行部署。
OpenVINO 简介¶
OpenVINO 是一个开源工具包,旨在通过降低延迟和提高吞吐量来增强 Intel 硬件上的 AI 推理性能,同时保持准确性。它优化硬件利用率,并简化跨计算机视觉、大型语言模型 (LLM) 和生成式 AI 等领域的 AI 开发和深度学习集成。
OpenVINO 集成到 Executorch 中作为代理,以加速使用 Executorch API 部署的 AI 应用程序。
支持的硬件¶
OpenVINO 后端支持以下硬件:
Intel CPU
Intel 集成 GPU
Intel 独立 GPU
Intel NPU
有关支持硬件的更多信息,请参阅 OpenVINO 系统要求 页面。
构建 OpenVINO 后端的说明¶
先决条件¶
在开始之前,请确保您的系统已安装并配置了 OpenVINO。
git clone https://github.com/openvinotoolkit/openvino.git
cd openvino && git checkout releases/2025/1
git submodule update --init --recursive
sudo ./install_build_dependencies.sh
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release -DENABLE_PYTHON=ON
make -j<N>
cd ..
cmake --install build --prefix <your_preferred_install_location>
cd <your_preferred_install_location>
source setupvars.sh
注意:当前 OpenVINO 发行版软件包尚不支持 OpenVINO 后端。建议从源代码构建。有关使用 OpenVINO 发行版软件包的说明将很快添加。有关 OpenVINO 构建的更多信息,请参阅 OpenVINO 构建说明。
设置¶
请按照以下步骤设置您的构建环境:
设置 ExecuTorch 环境:有关设置 ExecuTorch 环境的详细说明,请参阅 环境设置 指南。
设置 OpenVINO 后端环境
安装依赖库。请确保您位于
executorch/backends/openvino/
目录中。pip install -r requirements.txt
导航到
scripts/
目录。构建 OpenVINO 后端:在准备好先决条件后,运行
openvino_build.sh
脚本开始构建过程。OpenVINO 后端将构建在cmake-out/backends/openvino/
目录下,名为libopenvino_backend.a
。./openvino_build.sh
示例的构建说明¶
AOT 步骤:¶
有关使用 Executorch 将各种模型套件(TIMM、Torchvision、Hugging Face)中的深度学习模型导出到 OpenVINO 后端的详细说明,请参阅 executorch/examples/openvino
文件夹中的 README.md。用户可以动态指定模型、输入形状和目标设备。
以下是一个导出 Torchvision 模型套件中的 ResNet50 模型以供 CPU 设备使用的示例,其输入形状为 [1, 3, 256, 256]
。
cd executorch/examples/openvino
python aot_optimize_and_infer.py --export --suite torchvision --model resnet50 --input_shape "(1, 3, 256, 256)" --device CPU
导出的模型将保存在当前目录中,名为“resnet50.pte”。
支持¶
如果您在重现本教程时遇到任何问题,请在 ExecuTorch 存储库中创建一个 GitHub issue,并标记 #openvino
。