MemoryMappedTensor

class tensordict.MemoryMappedTensor(source, *, dtype=None, shape=None, index=None, device=None, handler=None, filename=None)

内存映射张量。

支持文件名或文件句柄。

MemoryMappedTensor 的主要优势在于其序列化方法，这些方法可确保张量在通过队列或 RPC 远程调用时无需复制。

注意

在 RPC 环境中使用时，文件路径应可供两个节点访问。如果不可用，则在节点之间传递 MemoryMappedTensor 的行为是未定义的。

MemoryMappedTensor 支持多种构造方法。

示例

>>> # from an existing tensor
>>> tensor = torch.randn(3)
>>> with tempfile.NamedTemporaryFile() as file:
...     memmap_tensor = MemoryMappedTensor.from_tensor(tensor, filename=file.name)
...     assert memmap_tensor.filename is not None
>>> # if no filename is passed, a handler is used
>>> tensor = torch.randn(3)
>>> memmap_tensor = MemoryMappedTensor.from_tensor(tensor, filename=file.name)
>>> assert memmap_tensor.filename is None
>>> # one can create an empty tensor too
>>> with tempfile.NamedTemporaryFile() as file:
...     memmap_tensor_empty = MemoryMappedTensor.empty_like(tensor, filename=file.name)
>>> with tempfile.NamedTemporaryFile() as file:
...     memmap_tensor_zero = MemoryMappedTensor.zeros_like(tensor, filename=file.name)
>>> with tempfile.NamedTemporaryFile() as file:
...     memmap_tensor = MemoryMappedTensor.ones_like(tensor, filename=file.name)

chunk(chunks, dim=0) → List of Tensors

参见 torch.chunk()

classmethod empty(*size, dtype=None, device=None, filename=None)

classmethod empty(shape, *, dtype=None, device=None, filename=None)

创建一个具有空内容、特定形状、dtype 和文件名的张量。

参数:

shape (integers or torch.Size) – 张量的形状。

关键字参数:

• dtype (torch.dtype) – 张量的 dtype。

• device (torch.device) – 张量的设备。只接受 None 和 “cpu”，任何其他设备都会引发异常。

• filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

• existsok (bool, optional) – 是否可以覆盖现有文件。默认为 False。

classmethod empty_like(input, *, filename=None)

创建一个没有内容但具有与输入张量相同形状和 dtype 的张量。

参数:

input (torch.Tensor) – 用作示例的张量。

关键字参数:

filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

classmethod empty_nested(*args, **kwargs)

创建一个具有空内容、特定形状、dtype 和文件名的张量。

参数:

shape (nested_shape) – 张量的形状。

关键字参数:

• dtype (torch.dtype) – 张量的 dtype。

• device (torch.device) – 张量的设备。只接受 None 和 “cpu”，任何其他设备都会引发异常。

• filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

• existsok (bool, optional) – 是否可以覆盖现有文件。默认为 False。

property filename

张量的文件名（如果存在）。

否则引发异常。

classmethod from_filename(filename, dtype, shape, index=None)

从给定文件名加载 MemoryMappedTensor。

参数:

• filename (path or equivalent) – 文件的路径。

• dtype (torch.dtype) – 张量的 dtype。

• shape (torch.Size or torch.Tensor) – 张量的形状。如果提供张量，则假定该张量是 nested_tensor 实例。

• index (torch-compatible index type) – 用于构建张量的索引。

classmethod from_handler(handler, dtype, shape, index=None)

从给定处理程序加载 MemoryMappedTensor。

参数:

• handler (compatible file handler) – 张量的处理程序。

• dtype (torch.dtype) – 张量的 dtype。

• shape (torch.Size or torch.Tensor) – 张量的形状。如果提供张量，则假定该张量是 nested_tensor 实例。

• index (torch-compatible index type, optional) – 用于构建张量的索引。

classmethod from_tensor(input, *, filename: Optional[Union[Path, str]] = None, existsok: bool = False, copy_existing: bool = False, copy_data: bool = True, shape: Optional[Size] = None)

创建一个内容与另一个张量相同的 MemoryMappedTensor。

如果张量已经是 MemoryMappedTensor，并且 filename 参数为 None 或两个路径匹配，则返回原始张量。在所有其他情况下，将生成一个新的 MemoryMappedTensor。

参数:

input (torch.Tensor) – 内容必须复制到 MemoryMappedTensor 的张量。

关键字参数:

• filename (path to a file) – 张量应存储的文件路径。如果未提供，则改用文件句柄。

• existsok (bool, optional) – 如果为 True，则文件将覆盖现有文件。默认为 False。

• copy_existing (bool, optional) – 如果为 True 且提供的输入是具有关联文件名的 MemoryMappedTensor，则允许将内容复制到新位置。否则，将抛出异常。此行为是为了防止无意中在磁盘上复制数据。

• copy_data (bool, optional) – 如果为 True，则将复制张量的内容到存储。默认为 True。

• shape (torch.Size or torch.Tensor) – 用于覆盖张量形状的形状。如果传递张量，则该张量必须代表嵌套张量的嵌套形状。

classmethod full(*size, fill_value, dtype=None, device=None, filename=None)

classmethod full(shape, *, fill_value, dtype=None, device=None, filename=None)

创建一个具有由 fill_value 指定的单个内容、特定形状、dtype 和文件名的张量。

参数:

shape (integers or torch.Size) – 张量的形状。

关键字参数:

• fill_value (float or equivalent) – 张量的内容。

• dtype (torch.dtype) – 张量的 dtype。

• device (torch.device) – 张量的设备。只接受 None 和 “cpu”，任何其他设备都会引发异常。

• filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

• existsok (bool, optional) – 是否可以覆盖现有文件。默认为 False。

classmethod full_like(input, fill_value, *, filename=None)

创建一个具有由 fill_value 参数指示的单个内容，但具有与输入张量相同的形状和 dtype 的张量。

参数:

• input (torch.Tensor) – 用作示例的张量。

• fill_value (float or equivalent) – 张量的内容。

关键字参数:

filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

classmethod ones(*size, dtype=None, device=None, filename=None)

classmethod ones(shape, *, dtype=None, device=None, filename=None)

创建一个具有 1 填充内容、特定形状、dtype 和文件名的张量。

参数:

shape (integers or torch.Size) – 张量的形状。

关键字参数:

• dtype (torch.dtype) – 张量的 dtype。

• device (torch.device) – 张量的设备。只接受 None 和 “cpu”，任何其他设备都会引发异常。

• filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

• existsok (bool, optional) – 是否可以覆盖现有文件。默认为 False。

classmethod ones_like(input, *, filename=None)

创建一个 1 填充内容的张量，但具有与输入张量相同的形状和 dtype。

参数:

input (torch.Tensor) – 用作示例的张量。

关键字参数:

filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

unbind(dim=0) → seq

参见 torch.unbind()

classmethod zeros(*size, dtype=None, device=None, filename=None)

classmethod zeros(shape, *, dtype=None, device=None, filename=None)

创建一个具有 0 填充内容、特定形状、dtype 和文件名的张量。

参数:

shape (integers or torch.Size) – 张量的形状。

关键字参数:

• dtype (torch.dtype) – 张量的 dtype。

• device (torch.device) – 张量的设备。只接受 None 和 “cpu”，任何其他设备都会引发异常。

• filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。

• existsok (bool, optional) – 是否可以覆盖现有文件。默认为 False。

classmethod zeros_like(input, *, filename=None)

创建一个 0 填充内容的张量，但具有与输入张量相同的形状和 dtype。

参数:

input (torch.Tensor) – 用作示例的张量。

关键字参数:

filename (path or equivalent) – 文件的路径，如果有的话。如果未提供，则使用处理程序。