ExecuTorch Llama iOS 演示 App

亲身体验在 iOS 设备上原生运行通过 ExecuTorch 导出的 LLaMA 和 LLaVA 模型！

点击下图查看实际效果！

要求

• Xcode 15.0 或更高版本

• Cmake 3.19 或更高版本

  • 下载并打开 macOS 的 .dmg 安装程序，然后将 Cmake 应用移至 /Applications 文件夹。

  • 安装 Cmake 命令行工具： sudo /Applications/CMake.app/Contents/bin/cmake-gui --install

• 一个具有 increased-memory-limit 权限的开发配置概要文件。

模型

从 HuggingFace 下载已导出的 LLaMA/LLaVA 模型及分词器，或者使用 XNNPACK 或 MPS 后端导出您自己的模型。

构建和运行

1. 确保 git 子模块是最新的

   git submodule update --init --recursive
   

2. 打开 Xcode 项目

   open examples/demo-apps/apple_ios/LLaMA/LLaMA.xcodeproj
   

3. 点击播放按钮在模拟器中启动应用程序。

4. 要在设备上运行，请确保您已为其设置好开发环境，并拥有包含 increased-memory-limit 权限的配置概要文件。将应用程序的 bundle identifier 更新为与您的具有所需功能的配置概要文件匹配。

5. 成功启动应用程序后，将导出的 ExecuTorch 模型（.pte）和分词器（.model）文件复制到 iLLaMA 文件夹。目前支持四种模型 - Llama、Qwen3、Phi4-mini 和 Llava 多模态。请确保您的模型的 .pte 文件以 llama、qwen3、phi4 或 llava 开头，以便应用程序选择正确的模型类型。

   • 对于模拟器： 将这两个文件拖放到模拟器窗口中，并将它们保存在 On My iPhone > iLLaMA 文件夹中。

   • 对于设备： 打开另一个 Finder 窗口，导航到“文件”选项卡，将这两个文件拖放到 iLLaMA 文件夹中，然后等待复制完成。

6. 按照应用程序的 UI 指南，从本地文件系统中选择模型和分词器文件，然后发出提示。

有关更多详细信息，请参阅 在 iOS 上使用 ExecuTorch 页面。