Struct Input

• 定义于 文件 torch_tensorrt.h

继承关系

基类型

• public CustomClassHolder

结构体文档

struct Input : public CustomClassHolder

一个结构体，用于保存输入范围（由 TensorRT 优化配置文件使用）

此结构体可以保存单个向量（表示输入形状，表示静态输入形状）或一组三个输入形状（表示引擎允许的最小、最佳和最大输入形状）。

公共函数

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• shape – Input 张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）、向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• shape – Input 张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）、向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• shape – Input 张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）、向量构造一个新的 Input 规范对象（用于静态输入大小），可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• shape – Input 张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造一个新的 Input 规范对象（用于静态输入大小），向量，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造一个新的 Input 规范对象（用于静态输入大小），向量，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于动态输入大小），用于表示最小、最佳和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于动态输入大小），用于表示最小、最佳和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

使用最小形状、最佳形状和最大支持尺寸的向量，为动态输入大小构造一个新的 Input 规范对象。可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用最小形状、最佳形状和最大支持尺寸的向量，为动态输入大小构造一个新的 Input 规范对象。可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于动态输入大小），用于表示最小、最佳和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用向量构造一个新的 Input 规范对象（用于动态输入大小），用于表示最小、最佳和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅适用于 FP32，FP16 适用于 FP32 和 FP16，FP32 适用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）为最小、最佳和最大支持尺寸构造一个新的 Input 规范对象（用于动态输入大小）。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

使用 c10::ArrayRef（由 tensor.sizes() 生成的类型）为最小、最佳和最大支持尺寸构造一个新的 Input 规范对象（用于动态输入大小）。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（默认为第一个张量计算中的权重类型（如果可检测），否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(at::Tensor tensor)

使用 torch 张量作为示例构造一个新的 Input 规范对象。张量的形状、类型和布局会影响规范的值。

注意：您无法通过此方法设置动态形状，必须使用其他构造函数。

参数

tensor – 用于设置形状、类型和布局的参考张量

公共成员

std::vector<int64_t> min_shape

引擎可接受的最小输入尺寸。

std::vector<int64_t> opt_shape

引擎的最佳输入尺寸（为给定内核优化的尺寸，接受 min/max 范围内的任何尺寸）

std::vector<int64_t> max_shape

引擎可接受的最大输入尺寸。

std::vector<int64_t> shape

要馈送到 TensorRT 的 Input 形状，对于动态形状，-1 将代表可变维度

DataType dtype

输入的预期数据类型。

TensorFormat format

输入的预期张量格式。

std::vector<double> tensor_domain

张量输入的预期允许域。