ExecuTorch 概览¶
ExecuTorch 是一套端到端的解决方案,可在包括可穿戴设备、嵌入式设备和微控制器在内的移动和边缘设备上实现设备端推理能力。它是 PyTorch Edge 生态系统的一部分,能够将 PyTorch 模型高效地部署到边缘设备。
ExecuTorch 的关键价值主张包括:
可移植性: 兼容各种计算平台,从高端手机到高度受限的嵌入式系统和微控制器。
生产力: 使开发人员能够使用相同的工具链和开发工具,从 PyTorch 模型创作和转换,到调试和部署到各种平台。
性能: 由于拥有轻量级的运行时,并充分利用 CPU、NPU 和 DSP 等硬件能力,为最终用户提供无缝、高性能的体验。
为什么选择 ExecuTorch?¶
支持设备端 AI 面临着独特的挑战,包括硬件多样性、关键的功耗要求、低/无互联网连接以及实时处理需求。这些限制在历史上阻碍或减缓了可扩展、高性能的设备端 AI 解决方案的创建。我们与 Meta、Arm、Apple 和 Qualcomm 等行业合作伙伴共同设计了 ExecuTorch,使其具有高度可移植性,并在不牺牲性能的前提下提供卓越的开发人员生产力。
ExecuTorch 与 PyTorch Mobile(Lite Interpreter)有何不同?¶
PyTorch Mobile 使用 TorchScript 来允许 PyTorch 模型在资源有限的设备上运行。ExecuTorch 的内存占用空间显著更小,内存占用动态可变,与 PyTorch Mobile 相比,性能和可移植性更优。此外,ExecuTorch 不依赖 TorchScript,而是利用 PyTorch 2 编译器和导出功能来执行设备端的 PyTorch 模型。
阅读有关 ExecuTorch 的更深入的技术概述主题