ComposableQATQuantizer

class torchao.quantization.qat.ComposableQATQuantizer(quantizers: List[TwoStepQuantizer])

用户可以用来轻松应用多个 QAT 量化器的可组合量化器。量化器将按照构造函数中指定的顺序应用。

注意：提供的量化器必须应用于模型中的不同模块，例如 nn.Linear 和 nn.Embedding，否则行为将未定义。

使用示例

my_quantizer = ComposableQATQuantizer([
    QATQuantizer1(),
    QATQuantizer2(),
    QATQuantizer3(),
])
model = my_quantizer.prepare(model)
train(model)
model = my_quantizer.convert(model)