IntXQuantizationAwareTrainingConfig

class torchao.quantization.qat.IntXQuantizationAwareTrainingConfig(activation_config: Optional[FakeQuantizeConfigBase] = None, weight_config: Optional[FakeQuantizeConfigBase] = None)

(已弃用) 请改用 QATConfig。

用于将假量化应用于 torch.nn.Module 的配置。与 quantize_() 一起使用。

使用示例

from torchao.quantization import quantize_
from torchao.quantization.qat import IntxFakeQuantizeConfig
activation_config = IntxFakeQuantizeConfig(
    torch.int8, "per_token", is_symmetric=False,
)
weight_config = IntxFakeQuantizeConfig(
    torch.int4, group_size=32, is_symmetric=True,
)
quantize_(
    model,
    IntXQuantizationAwareTrainingConfig(activation_config, weight_config),
)

注意：如果将配置应用于非 torch.nn.Linear 或 torch.nn.Embedding 的模块，或者将其应用于带有激活配置的 torch.nn.Embedding，我们将引发 ValueError，因为这些不支持。