快捷方式

后端概述

ExecuTorch 后端为特定的硬件目标提供硬件加速。为了在目标硬件上实现最大性能,ExecuTorch 在导出和降低过程中会针对特定后端优化模型。这意味着生成的 .pte 文件是为特定硬件专门定制的。为了部署到多个后端,例如 iOS 上的 Core ML 和 Android 上的 Arm CPU,通常为每个后端生成一个专用的 .pte 文件。

硬件后端的选择取决于模型的预期部署硬件。每个后端都有特定的硬件要求和模型支持级别。有关更多详细信息,请参阅各硬件后端的文档。

在创建 .pte 文件的过程中,ExecuTorch 会识别模型中支持给定后端的(分区)部分。这些部分会提前由后端处理,以支持高效执行。任何未在代理(delegate)上支持的模型部分将使用 CPU 上的可移植后备实现来执行。这允许在并非所有模型操作符都支持后端时进行部分模型加速,但这可能会对性能产生负面影响。此外,还可以按优先级顺序指定多个分区器。例如,这允许不支持 GPU 的操作符通过 XNNPACK 在 CPU 上运行。

可用后端

常用硬件后端列于下文。对于移动设备,请考虑在 Android 上使用 XNNPACK,在 iOS 上使用 XNNPACK 或 Core ML。要为特定后端创建 .pte 文件,请将适当的分区器类传递给 to_edge_transform_and_lower。有关更多信息,请参阅相应的后端文档。

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源