Struct CompileSpec

• 定义于 文件 torch_tensorrt.h

结构体文档

struct CompileSpec

Torch-TensorRT TorchScript 编译的设置数据结构

公共函数

TORCHTRT_API CompileSpec(std::vector<std::vector<int64_t>> fixed_sizes)

构造一个新的 Compile Spec 对象。方便的构造函数，用于从描述输入张量大小的向量设置固定的输入大小。向量中的每个条目代表一个输入，应按调用顺序提供。

当所有输入都是静态大小时，并且您对默认输入数据类型和格式（FP32 用于 FP32 和 INT8 权重，FP16 用于 FP16 权重，连续）满意时，可以使用此构造函数作为便利。

参数

fixed_sizes –

TORCHTRT_API CompileSpec(std::vector<c10::ArrayRef<int64_t>> fixed_sizes)

构造一个新的 Compile Spec 对象。方便的构造函数，用于从 c10::ArrayRef（tensor.sizes() 的输出）设置固定的输入大小，该 ArrayRef 描述输入张量的大小。向量中的每个条目代表一个输入，应按调用顺序提供。

当所有输入都是静态大小时，并且您对默认输入数据类型和格式（FP32 用于 FP32 和 INT8 权重，FP16 用于 FP16 权重，连续）满意时，可以使用此构造函数作为便利。

参数

fixed_sizes –

TORCHTRT_API CompileSpec(std::vector<Input> inputs)

构造一个新的 Compile Spec 对象，该对象来自输入范围。向量中的每个条目代表一个输入，应按调用顺序提供。

使用此构造函数来定义具有动态形状、特定输入类型或张量格式的输入。

参数

inputs –

TORCHTRT_API CompileSpec(torch::jit::IValue input_signature)

构造一个新的 Compile Spec 对象，该对象来自 IValue，它表示模块输入张量的嵌套。

参数

input_signature –

公共成员

GraphInputs graph_inputs

引擎输入的规范，可以存储一个 IValue，该 IValue 存储了复杂的 Input 或展平的 Input。

std::set<DataType> enabled_precisions = {DataType::kFloat}

TensorRT 在编译过程中允许使用的内核精度集合。

bool disable_tf32 = false

阻止 Float32 层使用 TF32 数据格式。

TF32 在计算内积时，先将输入四舍五入到 10 位尾数，然后累积求和。这是 FP32 层默认的行为。

bool sparse_weights = false

为卷积层和全连接层的权重启用稀疏性。

bool refit = false

构建一个可重构的引擎。

bool debug = false

构建一个可调试的引擎。

bool truncate_long_and_double = false

将 long/double 类型截断为 int/float 类型。

bool allow_shape_tensors = false

允许图中使用形状张量（来自 IShape 层）。

Device device

目标 Device。

EngineCapability capability = EngineCapability::kSTANDARD

设置引擎的限制（CUDA 安全性）。

uint64_t num_avg_timing_iters = 1

用于选择内核的平均计时迭代次数。

uint64_t workspace_size = 0

提供给 TensorRT 的最大工作空间大小。

uint64_t dla_sram_size = 1048576

DLA 用于在层内通信的快速软件管理 RAM。

uint64_t dla_local_dram_size = 1073741824

DLA 用于在操作之间共享中间张量数据的宿主 RAM。

uint64_t dla_global_dram_size = 536870912

DLA 用于存储权重和元数据的宿主 RAM，以进行执行。

bool require_full_compilation = false

要求完全编译模块到 TensorRT，而不是可能在 PyTorch 中运行不受支持的操作。

uint64_t min_block_size = 3

要将子图编译到 TensorRT 的最小连续支持算子数量。

std::vector<std::string> torch_executed_ops

必须在 PyTorch 中运行的 aten 算子列表。如果此列表不为空但 require_full_compilation 为 True，则会引发错误。

std::vector<std::string> torch_executed_modules

必须在 PyTorch 中运行的模块列表。如果此列表不为空但 require_full_compilation 为 True，则会引发错误。