常见 PyTorch 错误及解决方案

与梯度相关的错误 [新手]

新手在从头开始编写 RL 算法时，经常会遇到与梯度相关的问题。典型的训练循环通常可以草拟如下：

obs = env.reset()

for _ in range(n_training_steps):
    # STEP 1: data collection
    # Get a new datapoint "online"
    observations = []
    actions = []
    others = []
    for _ in range(n_data_per_training):
        with torch.no_grad():
            action = policy(obs)
        obs, *other = env.step(action)
        observations.append(obs)
        actions.append(action)
        others.append(other)
    replay_buffer.extend(observations, actions, others)

    # STEP 2: loss and optimization
    # => compute loss "offline"
    loss = loss_fn(replay_buffer.sample(batch_size))

    loss.backward()
    optim.step()
    optim.zero_grad()

当尝试通过由 no_grad() 上下文管理器装饰的策略操作进行反向传播时，会产生一系列错误。事实上，在大多数情况下，此操作不应作为任何计算图的一部分。相反，所有可微分操作都应在 loss_fn(...) 抽象中执行。总的来说，RL 是一个需要注意理解哪些应被视为不可微分的“数据”（例如，环境交互、优势和回报计算、PPO 中的“分母”对数概率），哪些应被视为可微分损失的工件（例如，价值误差、PPO 中的“分子”对数概率）的领域。

可能与这种误解相关的错误有以下几种：

• RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). 此错误通常在计算图的一部分数据点在损失函数中被使用两次后出现。一些用户尝试通过调用 loss.backward(retain_graph=True) 来修复此问题，但这会导致此列表中的下一个错误。相关的 PyTorch 错误讨论

  • 此处

  • 此处

• RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 此错误通常发生在用户通过 retain_graph=True 标志修复了第一个错误之后。相反，应该在 loss_fn 中重新计算要进行微分的操作。另一个常见原因是两个模块使用了共享的计算图进行更新（例如，策略和评论家）。在这种情况下，应该使用 retain_graph=True 标志，尽管需要小心，因为这可能会将一个损失的梯度累积到另一个损失上。一般来说，更好的做法是为每个损失单独重新计算每个中间值，同时排除特定图中不需要的参数，即使某些子模块的转发调用匹配。

  • 此处

  • 此处

• 算法未学习 / param.grad 为 0 或 None。算法未学习可能有多种原因。首先要查看的是参数梯度的值，其范数应严格非负。相关的 PyTorch 错误讨论

  • 此处

我的训练太慢了 [新手 / 中级]

• RL 在某些情况下以 CPU 密集型而闻名。即使并行运行少量环境，通过为集群请求比您正在使用的环境数量更多的核心（例如，两倍）也可以看到显著的速度提升。这对于渲染的环境（即使是在 GPU 上渲染）也是如此，尤其是如此。

• 训练速度取决于几个因素，而且没有一种万能的解决方案。常见的瓶颈是：

  • 数据收集：模拟器的速度可能会影响性能，后续的数据转换也是如此。通常通过向量化（如果模拟器支持，例如 Brax 和其他基于 Jax 的模拟器）或并行化（在 gym 和其他库中被不正确地称为向量化 envs）来加速环境交互。在 TorchRL 中，转换通常可以在设备上执行。

  • 回放缓冲区存储和采样：如果底层操作需要大量的内存操作或繁琐的索引（例如，优先回放缓冲区），将项目存储到回放缓冲区可能需要时间。如果数据未连续存储和/或执行了昂贵的堆叠或连接操作，采样也可能需要相当长的时间。在这些情况下，TorchRL 提供了高效的连续存储解决方案以及高效的写入和采样解决方案。

  • 优势计算：优势函数的计算也可能构成计算瓶颈，因为它们通常使用纯粹的 for 循环进行编码。如果分析表明此操作花费了大量时间，请考虑使用我们完全向量化的解决方案。

  • 损失计算：损失计算和优化步骤经常是计算时间的重要组成部分。一些技术可以加快速度。例如，如果使用了多个目标网络，使用向量化映射和函数式编程（通过 functorch）而不是循环模型配置可以提供显著的速度提升。

常见错误

• 有关 mujoco（包括 DeepMind Control suite 和其他库）的错误，请参阅 MUJOCO_INSTALLATION 文件。

• ValueError: bad value(s) in fds_to_keep：这可能有很多原因。在 torchrl 中常见的一个原因是您正尝试在进程之间发送一个张量的视图。例如，当在进程之间发送张量 b = tensor.expand(new_shape) 时，对原始内容的引用将丢失（因为 expand 操作会保留对原始张量的引用）。要调试此问题，请查找此类操作（view、permute、expand 等）并在函数调用后调用 clone() 或 contiguous()。