FBGEMM 项目主页¶
欢迎来到 FBGEMM 项目的文档主页!
FBGEMM 项目是一个用于各种深度学习应用的高度优化内核的存储库。该代码库分为三个相关包:FBGEMM、FBGEMM-GPU 和 FBGEMM-GenAI。
FBGEMM¶
FBGEMM (Facebook GEneral Matrix Multiplication) 是一个用于服务器端推理的低精度、高性能矩阵-矩阵乘法和卷积库。该库被用作 x86 机器上 PyTorch 量化算子的后端。
有关更多信息,请参阅 FBGEMM。
FBGEMM_GPU¶
FBGEMM_GPU (FBGEMM GPU Kernels Library) 是一系列基于 FBGEMM 构建的高性能 PyTorch GPU 算子库,用于训练和推理,重点关注推荐系统应用。该库构建于 FBGEMM 之上,提供高效的表批处理嵌入包、数据布局转换和量化支持。
有关更多信息,请参阅 FBGEMM_GPU。
FBGEMM GenAI¶
FBGEMM GenAI (FBGEMM Generative AI Kernels Library) 是一系列专为生成式 AI 应用设计的 PyTorch GPU 算子库,例如 FP8 逐行量化和集合通信。
有关更多信息,请参阅 FBGEMM GenAI。
目录¶
通用信息
FBGEMM 开发
FBGEMM C++ API
FBGEMM_GPU 概述
FBGEMM 稳定版 API
FBGEMM_GPU C++ API
FBGEMM_GPU Python API