torchao.utils

Tensor 子类工具

TorchAOBaseTensor

一个提供常用功能的实用 tensor 子类

torchao.quantization.quantize_.common

quantize_ API 通用工具

KernelPreference	用于指定用于量化、矩阵乘法或其他量化 tensor 的计算运算的内核组的枚举
PackingFormat	torchao 中量化数据在 Tensor 子类中的打包格式，表示值如何在量化数据中打包和布局。
QuantizeTensorKwargs	量化 tensor 创建的关键字参数容器的基类。
_choose_quant_func_and_quantize_tensor	给定一个 tensor 和一个 kwargs 容器，根据 quant_kwargs 的类型选择一个派生数据类型（float8、int8 等）来量化 tensor，并在（1）中量化 tensor 到所选的派生数据类型。这对于支持将激活灵活量化到各种派生数据类型是必需的。