Int8WeightOnlyConfig

class torchao.quantization.Int8WeightOnlyConfig(group_size: Optional[int] = None, set_inductor_config: bool = True)

用于将 int8 权重仅对称逐通道量化应用于线性层的配置。

参数:

• group_size – Optional[int] = None - 控制量化的粒度。如果为 None，则应用逐通道量化。否则，应用具有指定组大小的每组量化。

• set_inductor_config – bool = True - 如果为 True，则将 torchinductor 设置调整为推荐值，以在此量化方案下获得更好的性能。