torch_tensorrt.ts.ptq

这些组件是为 TorchScript 前端设计的传统量化实用程序。它们已被 TensorRT 模型优化器工具包取代，该工具包可与 Dynamo 前端配合使用

类

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，并使用 PyTorch 数据加载器加载/预处理在校准期间传递的数据。

参数

• dataloader (torch.utils.data.DataLoader) – PyTorch 数据加载器实例，用于遍历给定数据集。

• algo_type (CalibrationAlgo) – 校准算法的选择。

• cache_file (str) – 缓存文件路径。

• use_cache (bool) – 启用使用预先存在的缓存的标志。

• device (Device) – 校准数据复制到的设备。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，直接使用预先存在的缓存文件进行校准。

参数

• cache_file (str) – 缓存文件路径。

• algo_type (CalibrationAlgo) – 校准算法的选择。

枚举

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>