FBGEMM 项目主页¶
欢迎来到 FBGEMM 项目的文档主页!
FBGEMM 项目是用于深度学习应用的、经过高度优化的内核的存储库。代码库组织成三个相关包:FBGEMM、FBGEMM-GPU 和 FBGEMM-GenAI。
FBGEMM¶
FBGEMM(Facebook GEneral Matrix Multiplication)是一个低精度、高性能的矩阵-矩阵乘法和卷积库,用于服务器端推理。该库用作 PyTorch 在 x86 机器上量化算子的后端。
有关更多信息,请参阅 FBGEMM。
FBGEMM_GPU¶
FBGEMM_GPU(FBGEMM GPU 内核库)是基于 FBGEMM 构建的高性能 PyTorch GPU 算子库的集合,用于训练和推理,重点关注推荐系统应用。该库建立在 FBGEMM 之上,并提供高效的表批量嵌入袋、数据布局转换和量化支持。
有关更多信息,请参阅 FBGEMM_GPU。
FBGEMM GenAI¶
FBGEMM GenAI(FBGEMM 生成式 AI 内核库)是 PyTorch GPU 算子库的集合,专为生成式 AI 应用而设计,例如 FP8 行式量化和集体通信。
有关更多信息,请参阅 FBGEMM GenAI。
目录¶
通用信息
FBGEMM 开发
FBGEMM C++ API
FBGEMM_GPU 概述
FBGEMM 稳定版 API
FBGEMM_GPU C++ API
FBGEMM_GPU Python API