Float8FakeQuantizeConfig

class torchao.quantization.qat.Float8FakeQuantizeConfig(dtype: dtype = torch.float8_e4m3fn, granularity: Union[PerTensor, PerRow] = PerRow(), hp_value_lb: Optional[float] = None, hp_value_ub: Optional[float] = None)

针对 Float8Tensor 的 float8 虚量化配置。

参数:

• dtype (torch.dtype) – float8 Tensor 的数据类型

• granularity (FP8Granularity) – Tensor 的粒度，目前可以是 PerRow() 或 PerTensor()

• hp_value_lb (Optional[float]) – 用于计算 scale 的高精度浮点值的下界

• hp_value_ub (Optional[float]) – 用于计算 scale 的高精度浮点值的上界