Float8WeightOnlyConfig

class torchao.quantization.Float8WeightOnlyConfig(weight_dtype: dtype = torch.float8_e4m3fn, set_inductor_config: bool = True)

用于将 float8 权重仅对称逐通道量化应用于线性层的配置。

参数:

• weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m3fn。

• set_inductor_config (bool) – 如果为 True，则将 torchinductor 设置调整为推荐值。

注意

实际的矩阵乘法将在权重张量的原始精度下进行计算。