Int4WeightOnlyQATEmbedding

class torchao.quantization.qat.embedding.Int4WeightOnlyQATEmbedding(num_embeddings: int, embedding_dim: int, padding_idx: Optional[int] = None, max_norm: Optional[float] = None, norm_type: float = 2.0, scale_grad_by_freq: bool = False, sparse: bool = False, group_size: int = 32, scale_precision: dtype = torch.float32, zero_point_precision: dtype = torch.int32, *args, **kwargs)

此模块实现了一个具有 int4 逐通道权重假量化的嵌入层。

参数:

• group_size – 权重的每个量化组中的元素数量

• scale_precision – 每组尺度的精度

• zero_point_precision – 每组零点的精度