Int8WeightOnlyConfig

class torchao.quantization.Int8WeightOnlyConfig(group_size: Optional[int] = None, set_inductor_config: bool = True)

用于将 int8 仅权重对称逐通道量化应用于线性层的配置。

参数:

• group_size – Optional[int] = None - 控制量化的粒度。如果为 None，则应用逐通道量化。否则，应用指定组大小的每组量化。

• set_inductor_config – bool = True - 如果为 True，则调整 torchinductor 设置以推荐值，以获得此量化方案的更好性能。