评价此页

torch.mtia#

创建日期:2023年7月11日 | 最后更新日期:2025年12月10日

MTIA 后端是树外实现的,此处仅定义接口。

该软件包提供了在 Python 中访问 MTIA 后端的接口。

StreamContext

选择给定流的上下文管理器。

current_device

返回当前选定设备的索引。

current_stream

返回给定设备当前选定的 Stream

default_stream

返回给定设备的默认 Stream

device_count

返回可用 MTIA 设备的数量。

init

is_available

如果 MTIA 设备可用,则返回 true。

is_bf16_supported

返回一个布尔值,指示当前 MTIA 设备是否支持 bfloat16 数据类型。

is_initialized

返回 PyTorch 的 MTIA 状态是否已初始化。

memory_stats

返回给定设备的 MTIA 内存分配器统计信息的字典。

get_device_capability

以 (主版本号, 次版本号) 元组的形式返回给定设备的能力。

empty_cache

清空 MTIA 设备缓存。

record_memory_history

启用/禁用 MTIA 分配器上的内存分析器。

snapshot

返回包含 MTIA 内存分配器历史记录的字典。

attach_out_of_memory_observer

将内存溢出 (OOM) 观察器附加到 MTIA 内存分配器。

set_device

设置当前设备。

set_stream

设置当前流。这是一个设置流的包装 API。

stream

包装选择给定流的上下文管理器 StreamContext。

synchronize

等待 MTIA 设备上所有流中的所有任务完成。

device

更改选定设备的上下文管理器。

set_rng_state

设置指定 MTIA 设备的随机数生成器状态。

get_rng_state

以 ByteTensor 形式返回指定 MTIA 设备的随机数生成器状态。

set_rng_state_all

设置所有设备的随机数生成器状态。

get_rng_state_all

返回一个表示所有设备随机数状态的 ByteTensor 列表。

manual_seed

为当前 MTIA 设备设置生成随机数的种子。

manual_seed_all

为所有 MTIA 设备设置生成随机数的种子。

seed

将当前 MTIA 设备生成随机数的种子设置为随机数。

seed_all

将所有 MTIA 设备生成随机数的种子设置为随机数。

initial_seed

返回当前 MTIA 设备的当前随机种子。

DeferredMtiaCallError

流和事件#

事件

查询和记录流状态以识别或控制流之间的依赖关系并测量时间。

一个按先进先出 (FIFO) 顺序异步执行各自任务的有序队列。