Float8StaticActivationFloat8WeightConfig

class torchao.quantization.Float8StaticActivationFloat8WeightConfig(scale: Tensor, activation_dtype: dtype = torch.float8_e4m3fn, weight_dtype: dtype = torch.float8_e4m3fn, granularity: Optional[Union[PerTensor, PerRow, Tuple[Union[PerTensor, PerRow], Union[PerTensor, PerRow]]]] = None, mm_config: Optional[Float8MMConfig] = Float8MMConfig(emulate=False, use_fast_accum=True, pad_inner_dim=False), set_inductor_config: bool = True)

配置应用于 float8 静态对称量化的选项

参数:

• scale (torch.Tensor) – 激活量化的 scale 张量。

• activation_dtype (torch.dtype) – 激活量化的目标数据类型。默认为 torch.float8_e4m

• weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m

• mm_config (Float8MMConfig) – 矩阵乘法的配置。默认为使用快速累加。

• set_inductor_config (bool) – 如果为 True，则将 torchinductor 设置调整为推荐值。