结构体 Input

• 定义于 文件 torch_tensorrt.h

继承关系

基类型

• public CustomClassHolder

结构体文档

struct Input : public CustomClassHolder

用于保存输入范围（由 TensorRT 优化配置文件使用）的结构体

此结构体可以保存表示输入形状的单个向量，表示静态输入形状，或一组三个输入形状，表示引擎允许的最小、最优和最大输入形状。

公共函数

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – 输入张量形状

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于静态输入大小的新 Input 规范对象，向量可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – 输入张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于静态输入大小的新 Input 规范对象，向量可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – 输入张量形状

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于静态输入大小的新 Input 规范对象，向量可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – 输入张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于静态输入大小的新 Input 规范对象，向量可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于静态输入大小的新 Input 规范对象，向量可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于动态输入大小的新 Input 规范对象，用于最小形状、最优形状和最大支持形状，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于动态输入大小的新 Input 规范对象，用于最小形状、最优形状和最大支持形状，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（由 tensor.sizes() 生成的类型）构造用于动态输入大小的新 Input 规范对象，用于最小、最优和最大支持大小。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，默认为第一个张量计算中的权重类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为连续）

TORCHTRT_API Input(at::Tensor tensor)

使用 torch 张量作为示例构造新的 Input 规范对象。张量的形状、类型和布局将作为规范的值。

注意：不能通过此方法设置动态形状，必须使用其他构造函数

参数

tensor – 用于设置形状、类型和布局的参考张量

公共成员

std::vector<int64_t> min_shape

引擎可接受的最小输入大小。

std::vector<int64_t> opt_shape

引擎的最优输入大小（针对给定内核优化的尺寸，接受最小到最大范围内的任何尺寸）

std::vector<int64_t> max_shape

引擎可接受的最大输入大小。

std::vector<int64_t> shape

要馈送给 TensorRT 的 输入 形状，如果是动态形状，则 -1 将替代可变维度

DataType dtype

输入的预期数据类型。

TensorFormat format

输入的预期张量格式。

std::vector<double> tensor_domain

张量输入的预期允许域。