Float8DynamicActivationInt4WeightConfig¶

class torchao.quantization.Float8DynamicActivationInt4WeightConfig(packing_format: PackingFormat = 'preshuffled')[源代码]¶

应用于线性层的 float8 动态每行量化和 int4 每组权重量化的配置（目前仅支持 group_size 128，因为底层内核仅支持 128 及以上，且没有使其更大的优势）。