smooth_fq_linear_to_inference¶
- torchao.quantization.smooth_fq_linear_to_inference(model, debug_skip_calibration=False) None[source]¶
为推理准备模型，方法是为每个 SmoothFakeDynamicallyQuantizedLinear 层计算 smoothquant 比例。
- 参数:
model (torch.nn.Module) – 包含 SmoothFakeDynamicallyQuantizedLinear 层的模型。
debug_skip_calibration (bool, optional) – 如果为 True，则将激活的运行最大值设置为用于性能基准测试的调试值。默认为 False。
- 返回:
无
