DistributionalDQNLoss

class torchrl.objectives.DistributionalDQNLoss(*args, **kwargs)

一个分布式的 DQN 损失类。

分布式的 DQN 使用一个值网络，该网络输出一个在离散的折扣回报支持集上的值分布（与常规 DQN 不同，常规 DQN 的值网络输出折扣回报的单个点预测）。

有关分布式的 DQN 的更多详细信息，请参阅“从分布角度看强化学习”，“https://arxiv.org/pdf/1707.06887.pdf”

参数:

• value_network (DistributionalQValueActor 或 nn.Module) – 分布式 Q 值运算符。

• gamma (标量) –

  用于计算回报的折扣因子。.. note

  Unlike :class:`DQNLoss`, this class does not currently support
  custom value functions. The next value estimation is always
  bootstrapped.
  

• delay_value (bool) – 是否将值网络复制到一个新的目标值网络以创建双重 DQN

• priority_key (str, optional) – [已弃用，请改用 .set_keys(priority_key=priority_key)] 当 ReplayBuffer 的采样器类型为 PrioritizedSampler 时，假定优先级存储在 TensorDict 中的键。默认为 "td_error"。

• reduction (str, optional) – 指定应用于输出的归约方式："none" | "mean" | "sum"。 "none"：不应用归约，"mean"：输出的总和除以输出中的元素数量，"sum"：对输出求和。默认为 "mean"。

default_keys

别名：_AcceptedKeys

forward(input_tensordict: TensorDictBase) → TensorDict

它旨在读取一个输入的 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

将损失分解为其组成部分可以被训练器用于在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入的 tensordict，包含计算损失所需的值。

返回:

一个没有批处理维度的新 tensordict，其中包含各种损失标量，这些标量将被命名为“loss*”。重要的是，损失必须以这个名称返回，因为它们将在反向传播之前被训练器读取。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

值函数构造函数。

如果需要非默认值函数，必须使用此方法构建。

参数:

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的值函数。如果未提供，将使用存储在 default_value_estimator 属性中的默认值。生成的价值估计器类将被注册到 self.value_type，以便将来进行优化。

• **hyperparams – 要用于值函数的超参数。如果未提供，将使用 default_value_kwargs() 中指示的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)