安装说明

注意： 最新的安装说明已嵌入 FBGEMM 仓库下的脚本集中，位于 setup_env.bash。

安装 FBGEMM GenAI 的一般步骤如下：

1. 设置独立的运行时环境。

2. 为仅 CPU、CUDA 或 ROCm 运行时设置工具链。

3. 安装 PyTorch。

4. 安装 FBGEMM GenAI 包。

5. 运行安装后检查。

在安装 FBGEMM GenAI 之前，请检查 FBGEMM 发行版兼容性表，以确保您使用的先决硬件和软件与您计划安装的 FBGEMM GenAI 版本兼容。

设置运行时环境

遵循设置运行时环境的说明

1. 设置 CUDA 环境

2. 安装 Python 库

3. 安装 PyTorch

4. 安装 Triton

安装 FBGEMM GenAI 包

通过 PyTorch PIP 安装

PyTorch PIP 是安装 FBGEMM GenAI 的首选渠道。

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu126/
pip install --pre fbgemm-genai --index-url https://download.pytorch.org/whl/nightly/cu126/

# CUDA Release
pip install torch --index-url https://download.pytorch.org/whl/cu126/
pip install fbgemm-genai --index-url https://download.pytorch.org/whl/cu126/

# Test the installation
python -c "import torch; import fbgemm_gpu.experimental.gen_ai"

通过公共 PyPI 安装

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install fbgemm-gpu-nightly-genai

# CUDA Release
pip install fbgemm-gpu-genai

安装后检查

安装后，运行导入测试以确保库已正确链接和设置。

# !! Run inside the Conda environment !!

python -c "import torch; import fbgemm_gpu.experimental.gen_ai; print(torch.ops.fbgemm.quantize_fp8_per_row)"

有关其他安装后检查的信息，请参阅 安装后检查。