欢迎来到 ExecuTorch 文档#

ExecuTorch 是 PyTorch 针对边缘设备(从手机到嵌入式系统)高效 AI 推理的解决方案。

核心价值主张#

  • 可移植性: 可在多种平台运行,从高端移动设备到受限的微控制器。

  • 性能: 轻量级运行时,支持完整的硬件加速(CPU、GPU、NPU、DSP)。

  • 生产力: 从模型开发到部署,均可使用熟悉的 PyTorch 工具。


🎯 成果与成功案例#


快速导航#

开始

ExecuTorch 新手?从这里开始安装和部署您的第一个模型。

快速入门
在边缘平台部署

在 Android、iOS、笔记本/台式机和嵌入式平台上部署,拥有优化的后端。

边缘
处理 LLM

导出、优化并在边缘设备上部署大型语言模型。

大型语言模型 (LLMs)
🔧 开发者工具

通过全面的工具集对您的模型进行性能分析、调试和检查。

工具

探索文档#

简介

概述、架构和核心概念 — 了解 ExecuTorch 的工作原理及其优势。

简介
快速入门

开始使用 ExecuTorch — 安装、导出您的第一个模型并运行推理。

快速入门
边缘

Android、iOS、桌面、嵌入式 — 特定平台的部署指南和示例。

边缘
后端

CPU、GPU、NPU/加速器后端 — 硬件加速和后端选择。

后端
大型语言模型 (LLMs)

LLM 导出、优化和部署 — 针对边缘设备的完整 LLM 工作流程。

大型语言模型 (LLMs)
高级

量化、内存规划、自定义传递 — 深度自定义和优化。

高级
工具

开发者工具、性能分析、调试 — 全面的开发和调试套件。

工具
API

API 参考用法和示例 — 详细的 Python、C++ 和 Java API 参考。

API
💬 支持

常见问题解答、故障排除、贡献 — 获取帮助并为项目做出贡献。

支持

支持情况#

模型类型

  • 大型语言模型 (LLMs)

  • 计算机视觉 (CV)

  • 语音识别 (ASR)

  • 文本转语音 (TTS)

  • 更多…

平台

  • Android & iOS

  • Linux, macOS, Windows

  • 嵌入式 & MCU

  • 前往 边缘平台

丰富的加速

  • CPU

  • GPU

  • NPU

  • DSP

  • 前往 后端