快捷方式

Int8DynActInt4WeightQATQuantizer

class torchao.quantization.qat.Int8DynActInt4WeightQATQuantizer(groupsize: int = 256, padding_allowed: bool = False, precision: dtype = torch.float32, scales_precision: dtype = torch.float32)[源代码]

执行 QAT 的量化器,其中线性层具有 int8 动态每 token 假量化激活和 int4 假量化每通道分组权重。

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源