FakeQuantizedLinear

class torchao.quantization.qat.FakeQuantizedLinear(in_features: int, out_features: int, bias: bool = False, activation_config: Optional[FakeQuantizeConfigBase] = None, weight_config: Optional[FakeQuantizeConfigBase] = None, *args, **kwargs)

具有假量化权重和激活的一般线性层。

通过权重和激活的独立配置来指定特定的目标数据类型、粒度、方案等。

使用示例

activation_config = IntxFakeQuantizeConfig(
    dtype=torch.int8,
    granularity="per_token",
    is_symmetric=False,
)
weight_config = IntxFakeQuantizeConfig(
    dtype=torch.int4,
    group_size=8,
    is_symmetric=True,
)
fq_linear = FakeQuantizedLinear(
    16, 32, False, activation_config, weight_config,
)
fq_linear(torch.randn(16))

forward(x: Tensor) → Tensor

定义每次调用时执行的计算。

所有子类都应重写此方法。

注意

尽管前向传播的实现需要在此函数中定义，但您应该在之后调用 Module 实例而不是此函数，因为前者会处理注册的钩子，而后者则会静默忽略它们。