quantize_affine

torchao.quantization.quantize_affine(input: Tensor, block_size: Tuple[int, ...], scale: Tensor, zero_point: Optional[Tensor], output_dtype: dtype, quant_min: Optional[Union[int, float]] = None, quant_max: Optional[Union[int, float]] = None) → Tensor

参数:

• input (torch.Tensor) – 原始的 float32、float16 或 bfloat16 张量

• block_size – (Tuple[int, …]): 量化的粒度，这意味着共享相同 qparam 的张量元素的数量。例如，当 size 与输入张量维度相同时，我们使用的是逐张量量化

• scale (float) – 仿射量化的量化参数

• zero_point (int) – 仿射量化的量化参数

• output_dtype (torch.dtype) – 输出张量请求的 dtype（例如 torch.uint8）

• quant_min (Optional[int]) – 输出张量的最小量化值，如果未指定，则将从 dtype 派生

• quant_max (Optional[int]) – 输出张量的最大量化值，如果未指定，则将从 dtype 派生

注意

block_size 如何表示不同的粒度？假设我们有一个大小为 (3, 3, 10, 10) 的张量，这里有一个表格显示了 block_size 如何表示不同的粒度

粒度类型 | block_size

逐张量 | (3, 3, 10, 10) 逐轴 (axis=0) | (1, 3, 10, 10) 逐轴 (axis=1) | (3, 1, 10, 10)

逐组 (groupsize=2) | (3, 3, 10, 2) 逐组 (groupsize=2) 对于 axis = 3 | (3, 3, 2, 10)

输出

具有请求 dtype 的量化张量