快捷方式

FPXWeightOnlyConfig

class torchao.quantization.FPXWeightOnlyConfig(ebits: int, mbits: int, set_inductor_config: bool = True)[source]

子字节浮点数据类型,由 ebits:指数位数和 mbits:尾数位数定义,例如 fp6_e3_m2、fp6_e2_m3 等。打包格式和内核来自 fp6-llm 论文: https://arxiv.org/abs/2401.14112 github 仓库: https://github.com/usyd-fsalab/fp6_llm,现已重命名为 quant-llm。有关打包的更多详细信息,请参阅: FpxTensorCoreAQTTensorImpl

这是实验性的,将来会合并到 to_affine_quantized_floatx

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源