快捷方式

MappingType

class torchao.quantization.MappingType(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)[源代码]

浮点数如何映射到整数

对称映射意味着浮点范围对称地映射到整数范围,假设我们有一个浮点范围 (-3.5, 10.2) 和整数范围 (-8, 7) (int4),我们将使用 (-10.2, 10.2) 作为浮点范围并将其映射到 (-8, 7),例如 scale = (10.2 - (-10.2)) / (7 - (-8))

SYMMETRIC_NO_CLIPPING_ERR 是对称映射的一种变体,其中 scale 是 smin 和 smax 的最大值,其中 smin = min_val_neg / quant_min,smax = max_val_pos / quant_max。通过单独计算 smin 和 smax,可以减少负值的舍入误差,并且所有浮点值都不会超出范围。

非对称映射意味着我们直接将浮点范围映射到整数范围,对于上面的例子,我们将 (-3.5, 10.2) 映射到 (-8, 7) 并基于此映射计算量化参数,例如 scale = (10.2 - (-3.5)) / (7 - (-8))

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源