评价此页

torch.mtia#

创建日期:2023 年 7 月 11 日 | 最后更新日期:2025 年 6 月 8 日

MTIA 后端是独立于主线实现的,此处仅定义接口。

此包提供了访问 Python 中 MTIA 后端的接口

StreamContext

选择给定流的上下文管理器。

current_device

返回当前选定设备的索引。

current_stream

返回给定设备的当前选定的 Stream

default_stream

返回给定设备的默认 Stream

device_count

返回可用的 MTIA 设备数量。

init

is_available

如果 MTIA 设备可用,则返回 true

is_initialized

返回 PyTorch 的 MTIA 状态是否已初始化。

memory_stats

返回给定设备的 MTIA 内存分配器统计信息的字典。

get_device_capability

返回给定设备的性能,形式为(主版本,次版本)元组。

empty_cache

清空 MTIA 设备缓存。

record_memory_history

启用/禁用 MTIA 分配器上的内存分析器

snapshot

返回 MTIA 内存分配器历史记录的字典

attach_out_of_memory_observer

将一个内存不足观察器附加到 MTIA 内存分配器

set_device

设置当前设备。

set_stream

设置当前流。这是一个用于设置流的包装 API。

stream

包装选择给定流的上下文管理器 StreamContext。

synchronize

等待 MTIA 设备上所有流中的所有作业完成。

device

更改选定设备的上下文管理器。

set_rng_state

设置随机数生成器状态。

get_rng_state

以 ByteTensor 形式返回随机数生成器状态。

DeferredMtiaCallError

流和事件#

事件

查询和记录流状态以识别或控制流之间的依赖关系并测量时间。

一个按顺序执行相应任务的队列,异步地按先进先出 (FIFO) 顺序执行。