Float8DynamicActivationFloat8WeightConfig

class torchao.quantization.Float8DynamicActivationFloat8WeightConfig(activation_dtype: dtype = torch.float8_e4m3fn, weight_dtype: dtype = torch.float8_e4m3fn, granularity: Optional[Union[PerTensor, PerRow, List[Union[PerTensor, PerRow]]]] = None, mm_config: Optional[Float8MMConfig] = None, set_inductor_config: bool = True)

用于将 float8 动态对称量化应用于线性层的激活和权重。

参数:

• activation_dtype (torch.dtype) – 激活量化的目标数据类型。默认为 torch.float8_e4m3fn。

• weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m3fn。

• granularity – 量化的粒度。可以是单个粒度（应用于激活和权重）或一对粒度（一个用于激活，一个用于权重）。如果为 None，则两者均默认为 PerTensor。目前两种量化需要是同一类型。仅支持 PerTensor 和 PerRow。

• mm_config (Float8MMConfig) – 矩阵乘法的配置。默认为快速累积。

• set_inductor_config (bool) – 如果为 True，则将 torchinductor 设置调整为推荐值。