FBGEMM_GPU

FBGEMM_GPU (FBGEMM GPU 内核库) 是一系列高性能 PyTorch GPU 算子库，构建在 FBGEMM 之上，用于训练和推理，重点关注推荐系统应用。该库构建在 FBGEMM 之上，提供了高效的表批处理嵌入袋、数据布局转换和量化支持。

FBGEMM_GPU 开发

• 构建说明
  • 建立一个隔离的构建环境
  • 设置仅 CPU 构建
  • 为 CUDA 构建进行设置
  • 设置 ROCm 构建
  • 安装构建工具
  • 安装 PyTorch
  • 其他构建前设置
  • 仅 CPU 构建
  • CUDA 构建
  • ROCm 构建
  • 构建后检查（针对开发者）
• 安装说明
  • 设置仅 CPU 环境
  • 设置 CUDA 环境
  • 设置 ROCm 环境
  • 安装 Python 库
  • 安装 PyTorch
  • 安装 Triton
  • 安装 FBGEMM_GPU 包
  • 安装后检查
• 测试说明
  • 设置 FBGEMM_GPU 测试环境
  • 运行 FBGEMM_GPU 测试
  • 运行 FBGEMM_GPU 基准测试
• 功能门控
  • 创建功能门
  • 启用功能门

FBGEMM_GPU 概述

• 不规则张量算子
  • 高层概览
  • 锯齿张量格式
  • 锯齿张量操作

FBGEMM 稳定版 API

• FBGEMM_GPU 稳定版 Python API
  • 稳定 API

FBGEMM_GPU C++ API

• 稀疏数据算子
  • CUDA 运算符
  • CPU 运算符
• 量化算子
  • CUDA 运算符
  • CPU 运算符
• 池化嵌入算子
  • 合并算子
  • 排列算子
• 表批处理嵌入算子
• 不规则张量算子
  • CUDA 运算符
  • CPU 运算符
• CUDA 内存算子
• 合并输入算子
• 布局转换算子
  • CUDA 运算符
  • CPU 运算符
• 嵌入算子
  • CUDA 运算符
  • CPU 运算符
• SSD 嵌入算子
  • CUDA 运算符
• 实验性算子
  • 注意力算子
• 功能门控 (C++)
• 更快的哈希算子
  • CUDA 运算符
  • CPU 运算符

FBGEMM_GPU Python API

• 稀疏算子
  • 稳定版 API
• 池化嵌入算子
  • 稳定版 API
  • 其他 API
• 量化算子
  • 稳定版 API
  • 其他 API
• 不规则张量算子
  • 稳定版 API
  • 其他 API
• 表批处理嵌入 (TBE) 训练模块
  • 稳定版 API
  • 其他 API
• 表批处理嵌入 (TBE) 推理模块
  • 稳定版 API
  • 其他 API
• 池化嵌入模块
  • 稳定版 API
  • 其他 API
• 功能门控 (Python)
  • 稳定版 API