torchao.dtypes

布局和张量子类

NF4Tensor	用于将权重转换为 QLoRA NF4 格式的 NF4Tensor 类
AffineQuantizedTensor	仿射量化张量子类。
Layout	Layout 类作为定义不同张量数据布局的基类。
PlainLayout	PlainLayout 是最基本的布局类，继承自 Layout 基类。
SemiSparseLayout	SemiSparseLayout 是用于处理仿射量化张量中半结构化稀疏矩阵的布局类。
TensorCoreTiledLayout	TensorCoreTiledLayout 是用于处理仿射量化张量中张量核平铺布局的布局类。
Float8Layout	表示 Float8 仿射量化张量的布局配置。
MarlinSparseLayout	MarlinSparseLayout 是用于处理专门为 Marlin 稀疏核设计的稀疏张量格式的布局类。
BlockSparseLayout	BlockSparseLayout 是一个数据类，表示块稀疏矩阵的布局。
UintxLayout	Uintx 张量的布局类，其中张量元素被打包成比标准 8 位字节更小的位宽。
MarlinQQQTensor	继承自 AffineQuantizedTensor 类的 MarlinQQQ 量化张量子类。
MarlinQQQLayout	MarlinQQQLayout 是 Marlin QQQ 量化的布局类。
Int4CPULayout	用于 int4 CPU 仿射量化张量的布局类，由 tinygemm 核 `_weight_int4pack_mm_for_cpu` 使用。
CutlassInt4PackedLayout	用于 int4 仿射量化张量的打包布局类，用于 Cutlass 核。
CutlassSemiSparseLayout	用于 float8 2:4 稀疏布局的仿射量化张量布局类，用于 Cutlass 核。

量化技术

to_affine_quantized_intx	将高精度张量转换为整数仿射量化张量。
to_affine_quantized_intx_static	使用静态参数从高精度张量创建整数 AffineQuantizedTensor。
to_affine_quantized_fpx	从高精度张量创建 floatx AffineQuantizedTensor。
to_affine_quantized_floatx	将高精度张量转换为 float8 量化张量。
to_affine_quantized_floatx_static	使用静态参数从高精度张量创建 float8 AffineQuantizedTensor。
to_marlinqqq_quantized_intx	将浮点张量转换为 Marlin QQQ 量化张量。
to_nf4	将给定张量转换为归一化 4 位浮点张量。