Float8WeightOnlyConfig

class torchao.quantization.Float8WeightOnlyConfig(weight_dtype: dtype = torch.float8_e4m3fn, set_inductor_config: bool = True, version: int = 2)

用于将 float8 权重唯一对称逐通道量化应用于线性层的配置。

参数:

• weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m3fn。

• set_inductor_config (bool) – 如果为 True，则将 torchinductor 设置调整为推荐值。

• version (int) – 配置的版本，版本 1 使用 AffineQuantizedTensor，我们计划弃用/拆分，版本 2 使用 Float8Tensor（默认）。

注意

实际的矩阵乘法将在权重张量的原始精度下计算。