torchao.dtypes

布局和张量子类

NF4Tensor	用于将权重转换为 QLoRA NF4 格式的 NF4Tensor 类
AffineQuantizedTensor	仿射量化张量子类。
Layout	Layout 类作为定义张量不同数据布局的基类。
PlainLayout	PlainLayout 是最基本的布局类，继承自 Layout 基类。
SemiSparseLayout	SemiSparseLayout 是一个布局类，用于处理仿射量化张量中的半结构化稀疏矩阵。
TensorCoreTiledLayout	TensorCoreTiledLayout 是一个布局类，用于处理仿射量化张量中的张量核分块布局。
Float8Layout	表示 Float8 仿射量化张量的布局配置。
MarlinSparseLayout	MarlinSparseLayout 是一个布局类，用于处理专门为 Marlin 稀疏内核设计的稀疏张量格式。
BlockSparseLayout	BlockSparseLayout 是一个数据类，表示块稀疏矩阵的布局。
UintxLayout	用于 Uintx 张量的布局类，这些张量的元素被打包到比标准 8 位字节更小的位宽中。
MarlinQQQTensor	MarlinQQQ 量化张量子类，继承自 AffineQuantizedTensor 类。
MarlinQQQLayout	MarlinQQQLayout 是用于 Marlin QQQ 量化的布局类。
Int4CPULayout	用于仿射量化张量的 int4 CPU 布局的布局类，由 tinygemm 内核 _weight_int4pack_mm_for_cpu 使用。
CutlassInt4PackedLayout	用于仿射量化张量的 int4 打包布局的布局类，适用于 cutlass 内核。
CutlassSemiSparseLayout	用于仿射量化张量的 float8 2:4 稀疏布局的布局类，适用于 cutlass 内核。

量化技术

to_affine_quantized_intx	将高精度张量转换为整数仿射量化张量。
to_affine_quantized_intx_static	使用静态参数从高精度张量创建整数 AffineQuantizedTensor。
to_affine_quantized_fpx	从高精度张量创建 floatx 仿射量化张量。
to_affine_quantized_floatx	将高精度张量转换为 float8 量化张量。
to_affine_quantized_floatx_static	使用静态参数从高精度张量创建 float8 AffineQuantizedTensor。
to_marlinqqq_quantized_intx	将浮点张量转换为 Marlin QQQ 量化张量。
to_nf4	将给定张量转换为归一化浮点 4 位张量。