Float8StaticActivationFloat8WeightConfig

class torchao.quantization.Float8StaticActivationFloat8WeightConfig(scale: Tensor, activation_dtype: dtype = torch.float8_e4m3fn, weight_dtype: dtype = torch.float8_e4m3fn, granularity: Optional[Union[PerTensor, PerRow, Tuple[Union[PerTensor, PerRow], Union[PerTensor, PerRow]]] = None, mm_config: Optional[Float8MMConfig] = None, set_inductor_config: bool = True)

用于将 float8 静态对称量化应用于的配置

参数:

• scale (torch.Tensor) – 激活量化的比例张量。

• activation_dtype (torch.dtype) – 激活量化的目标数据类型。默认为 torch.float8_e4m

• weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m

• mm_config (Float8MMConfig) – 矩阵乘法的配置。默认为快速累积。

• set_inductor_config (bool) – 如果为 True，则将 torchinductor 设置调整为推荐值。