FPXWeightOnlyConfig¶
- class torchao.quantization.FPXWeightOnlyConfig(ebits: int, mbits: int, set_inductor_config: bool = True)[source]¶
由 ebits(指数比特)和 mbits(尾数比特)定义的亚字节浮点数据类型,例如 fp6_e3_m2、fp6_e2_m3 等。打包格式和内核来自 fp6-llm 论文:https://arxiv.org/abs/2401.14112 GitHub 仓库:https://github.com/usyd-fsalab/fp6_llm,现已重命名为 quant-llm。有关打包的更多详细信息,请参阅:
FpxTensorCoreAQTTensorImpl
此功能为实验性功能,未来将与 to_affine_quantized_floatx 合并