PackingFormat¶
- class torchao.quantization.quantize_.common.PackingFormat(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)[源代码]¶
torchao 中 Tensor 子类的量化数据的打包格式，表示值如何在量化数据中打包和布局。
- MARLIN_SPARSE = 'marlin_sparse'¶
解包表示子字节量化数据存储为 int8。
- PLAIN = 'plain'¶
preshuffled 指的是 fbgemm 内核使用的预混淆格式。
- PRESHUFFLED = 'preshuffled'¶
marlin_sparse 指的是 marlin 内核使用的格式，仅支持对称量化。
