将 LLM 部署到 ExecuTorch¶
ExecuTorch 的设计旨在支持所有类型的机器学习模型，LLM 也不例外。在本节中，我们将演示如何利用 ExecuTorch，通过我们提供的导出 LLM API、加速后端、量化库、分词器等，在设备上高效运行最先进的 LLM。
我们鼓励用户将此项目作为起点，并根据自己的具体需求进行调整，包括创建自己的分词器、采样器、加速后端和其他组件版本。我们希望该项目能成为您在 LLM 和 ExecuTorch 之旅中的有用指南。
先决条件¶
要遵循本指南，您需要安装 ExecuTorch。请参阅 设置 ExecuTorch。
后续步骤¶
将 LLM 部署到 ExecuTorch 可归结为两个步骤：(1) 将 LLM 导出为 .pte 文件，以及 (2) 使用我们的 C++ API 或 Swift/Java 绑定运行 .pte 文件。
