KernelPreference

class torchao.quantization.quantize_.common.KernelPreference(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

用于指定用于量化、矩阵乘法或其他量化张量的计算操作的内核组的枚举。

可以在 torchao/quantization/quantize_/workflows 下的张量子类实现中找到选项如何影响选定内核的示例

AUTO = 'auto'

使用 torch 原生的量化和量化 mm 内核

TORCH = 'torch'

使用 fbgemm 量化和量化 mm 内核，需要 fbgemm_gpu_genai 库