评价此页

PerToken#

class torch.ao.quantization.observer.PerToken[source]#

Per-token 量化粒度的表示。

此粒度类型为每个 token 计算一组不同的量化参数,token 在张量中表示为最后一维。

例如,如果输入张量的形状是 [2, 3, 4],则有 6 个 token,每个 token 包含 4 个元素,我们将计算 6 组量化参数,每组对应一个 token。

如果输入张量只有两个维度,例如 [8, 16],则这等同于 PerAxis(axis=0),它产生 8 组量化参数。