Int4WeightOnlyEmbeddingQATQuantizer

class torchao.quantization.qat.Int4WeightOnlyEmbeddingQATQuantizer(group_size: int = 256, scale_precision: dtype = torch.float32, zero_point_precision: dtype = torch.int32)

用于对模型执行 QAT 的量化器，其中 embedding 层具有 int4 按通道假量化的分组权重。

convert(model: Module, *args: Any, **kwargs: Any) → Module

将所有 Int4WeightOnlyQATEmbedding 模块与 Int4WeightOnlyEmbedding 交换。

prepare(model: Module, *args: Any, **kwargs: Any) → Module

将 nn.Embedding 模块与 Int4WeightOnlyQATEmbedding 交换。