Struct Device

• 定义于 文件 torch_tensorrt.h

嵌套关系

嵌套类型

• 类 Device::DeviceType

结构体文档

struct Device

设置目标设备的结构体。

公共函数

inline Device()

结构体 Device 的构造函数

公共成员

DeviceType device_type

设置设备的数据结构。该结构体将包含目标设备相关的参数，例如 device_type、gpu_id、dla_core。

int64_t gpu_id

int64_t dla_core

bool allow_gpu_fallback

(仅当目标为 DLA (设备) 时使用) 如果 DLA 不支持某些层，则允许引擎在 GPU 上运行这些层

class DeviceType

TensorRT 引擎支持的 Device 类型

此类与 c10::DeviceTypes 兼容（但会检查 TRT 支持），但唯一适用的值是 at::kCUDA，它映射到 DeviceType::kGPU

要使用 DataType 类本身，请通过枚举而不是正常实例化来访问

例如：torch_tensorrt::DeviceType type = DeviceType::kGPU;

公共类型

enum Value

支持 DeviceType 类的底层枚举类

如果您需要使用 DeviceType 类本身，请通过此枚举而不是正常实例化来访问

例如：torch_tensorrt::DeviceType type = DeviceType::kGPU;

值

enumerator kGPU

运行引擎的目标 GPU。

enumerator kDLA

运行引擎的目标 DLA。

公共函数

DeviceType() = default

构造一个新的 Device Type 对象。

inline constexpr DeviceType(Value t)

从内部枚举构造一个新的 Device Type 对象。

DeviceType(c10::DeviceType t)

从 torch 设备枚举构造一个新的 Device Type 对象。注意：唯一有效的值是 torch::kCUDA (torch::kCPU 不受支持)

参数

t –

inline operator Value() const

从 Device 对象获取内部值。

返回

值

explicit operator bool() = delete

inline constexpr bool operator==(DeviceType other) const

DeviceType 的比较运算符。

参数

其他 –

返回

真

返回

假

inline constexpr bool operator!=(DeviceType other) const

DeviceType 的比较运算符。

参数

其他 –

返回

真

返回

假