torch.use_deterministic_algorithms

torch.use_deterministic_algorithms(mode, *, warn_only=False)

设置 PyTorch 操作是否必须使用“确定性”算法。也就是说，在相同输入、相同软件和硬件上运行时，总是产生相同输出的算法。启用后，操作将在可用时使用确定性算法，如果仅有非确定性算法可用，则在调用时会抛出 RuntimeError。

注意

仅凭此设置并不足以使应用程序可重现。有关更多信息，请参阅 可重现性。

注意

torch.set_deterministic_debug_mode() 提供了此功能的替代接口。

当 mode=True 时，以下通常是非确定性的操作将变为确定性操作：

• 在 CUDA 张量上调用的 torch.nn.Conv1d

• 在 CUDA 张量上调用的 torch.nn.Conv2d

• 在 CUDA 张量上调用的 torch.nn.Conv3d

• 在 CUDA 张量上调用的 torch.nn.ConvTranspose1d

• 在 CUDA 张量上调用的 torch.nn.ConvTranspose2d

• 在 CUDA 张量上调用的 torch.nn.ConvTranspose3d

• 尝试区分 CUDA 张量时调用的 torch.nn.ReplicationPad1d

• 尝试区分 CUDA 张量时调用的 torch.nn.ReplicationPad2d

• 尝试区分 CUDA 张量时调用的 torch.nn.ReplicationPad3d

• 在稀疏-稠密 CUDA 张量上调用的 torch.bmm()

• 尝试区分 CPU 张量且索引是张量列表时调用的 torch.Tensor.__getitem__()

• 使用 accumulate=False 时的 torch.Tensor.index_put()

• 在 CPU 张量上调用 accumulate=True 时的 torch.Tensor.index_put()

• 在 CPU 张量上调用 accumulate=True 时的 torch.Tensor.put_()

• 在 CUDA 张量上调用的 torch.Tensor.scatter_add_()

• 在需要梯度的 CUDA 张量上调用的 torch.gather()

• 在 CUDA 张量上调用的 torch.index_add()

• 尝试区分 CUDA 张量时调用的 torch.index_select()

• 尝试区分 CUDA 张量时调用的 torch.repeat_interleave()

• 在 CPU 或 CUDA 张量上调用的 torch.Tensor.index_copy()

• 当 src 类型为 Tensor 且在 CUDA 张量上调用时，torch.Tensor.scatter()

• 当 reduce='sum' 或 reduce='mean' 且在 CUDA 张量上调用时，torch.Tensor.scatter_reduce()

当 mode=True 时，以下通常是非确定性的操作将抛出 RuntimeError：

• 尝试区分 CUDA 张量时调用的 torch.nn.AvgPool3d

• 尝试区分 CUDA 张量时调用的 torch.nn.AdaptiveAvgPool2d

• 尝试区分 CUDA 张量时调用的 torch.nn.AdaptiveAvgPool3d

• 尝试区分 CUDA 张量时调用的 torch.nn.MaxPool3d

• 尝试区分 CUDA 张量时调用的 torch.nn.AdaptiveMaxPool2d

• 尝试区分 CUDA 张量时调用的 torch.nn.FractionalMaxPool2d

• 尝试区分 CUDA 张量时调用的 torch.nn.FractionalMaxPool3d

• torch.nn.MaxUnpool1d

• torch.nn.MaxUnpool2d

• torch.nn.MaxUnpool3d

• 尝试区分 CUDA 张量且使用以下模式之一时调用的 torch.nn.functional.interpolate()：

  • linear

  • bilinear

  • bicubic

  • trilinear

• 尝试区分 CUDA 张量时调用的 torch.nn.ReflectionPad1d

• 尝试区分 CUDA 张量时调用的 torch.nn.ReflectionPad2d

• 尝试区分 CUDA 张量时调用的 torch.nn.ReflectionPad3d

• 在 CUDA 张量上调用的 torch.nn.NLLLoss

• 尝试区分 CUDA 张量时调用的 torch.nn.CTCLoss

• 当 mode='max' 且尝试区分 CUDA 张量时调用的 torch.nn.EmbeddingBag

• 当 accumulate=False 时的 torch.Tensor.put_()

• 当 accumulate=True 且在 CUDA 张量上调用时，torch.Tensor.put_()

• 在 CUDA 张量上调用的 torch.histc()

• 当在 CUDA 张量上调用且提供了 weights 张量时，torch.bincount()

• 在 CUDA 张量上调用的 torch.kthvalue()

• 当输出 indices 且在 CUDA 张量上调用时，torch.median()

• 尝试区分 CUDA 张量时调用的 torch.nn.functional.grid_sample()

• 当在 CUDA 张量上调用且 dtype 是浮点数或复数时，torch.cumsum()

• 当 reduce='prod' 且在 CUDA 张量上调用时，torch.Tensor.scatter_reduce()

• 使用量化张量时调用的 torch.Tensor.resize_()

此外，当启用此设置并启用 torch.utils.deterministic.fill_uninitialized_memory 时，一些操作会填充未初始化的内存。有关更多信息，请参阅该属性的文档。

一系列 CUDA 操作在 CUDA 版本为 10.2 或更高版本时是非确定性的，除非设置了环境变量 CUBLAS_WORKSPACE_CONFIG=:4096:8 或 CUBLAS_WORKSPACE_CONFIG=:16:8。有关更多详细信息，请参阅 CUDA 文档：https://docs.nvda.net.cn/cuda/cublas/index.html#results-reproducibility 如果未设置其中一个环境变量配置，则在 CUDA 张量上调用这些操作时将引发 RuntimeError。

• torch.mm()

• torch.mv()

• torch.bmm()

请注意，确定性操作通常比非确定性操作性能更差。

注意

此标志不会检测或阻止由于将就地操作应用于具有内部内存重叠的张量，或将此类张量作为操作的 out 参数而导致的行为。在这些情况下，多个对同一内存位置的不同数据写入可能会发生，并且写入顺序不确定。

参数

mode (bool) – 如果为 True，则使潜在的非确定性操作切换到确定性算法或抛出运行时错误。如果为 False，则允许非确定性操作。

关键字参数

warn_only (bool, optional) – 如果为 True，则没有确定性实现的で操作将抛出警告而不是错误。默认为 False。

示例

>>> torch.use_deterministic_algorithms(True)

# Forward mode nondeterministic error
>>> torch.randn(10, device='cuda').kthvalue(1)
...
RuntimeError: kthvalue CUDA does not have a deterministic implementation...

# Backward mode nondeterministic error
>>> torch.nn.AvgPool3d(1)(torch.randn(3, 4, 5, 6, requires_grad=True).cuda()).sum().backward()
...
RuntimeError: avg_pool3d_backward_cuda does not have a deterministic implementation...