FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) 是一个用于服务器端推理的低精度、高性能矩阵乘法和卷积库。该库在 x86 机器上被用作 PyTorch 量化算子的后端。

FBGEMM 开发

• 构建说明
  • FBGEMM 要求
  • 建立一个隔离的构建环境
  • 安装构建工具
  • 构建 FBGEMM 库

FBGEMM C++ API

• 量化实用程序
  • 参考实现方法
  • AVX-2 实现方法
  • AVX-512 实现方法
• TBE CPU 自动向量化
  • FP8/16/32 Autovec 实现方法