DistributionalDQNLoss

class torchrl.objectives.DistributionalDQNLoss(*args, **kwargs)

一个分布式的 DQN 损失类。

分布式的 DQN 使用一个价值网络，该网络输出一个离散支持的折扣回报的价值分布（与常规 DQN 不同，后者仅输出折扣回报的单个点预测）。

有关分布式的 DQN 的更多详细信息，请参阅“从分布角度看强化学习”，“https://arxiv.org/pdf/1707.06887.pdf”

参数:

• value_network (DistributionalQValueActor 或 nn.Module) – 分布式 Q 值算子。

• gamma (标量) –

  用于计算回报的折扣因子。 .. note

  Unlike :class:`DQNLoss`, this class does not currently support
  custom value functions. The next value estimation is always
  bootstrapped.
  

• delay_value (bool) – 是否将价值网络复制到一个新的目标价值网络以创建双 DQN

• priority_key (str, optional) – [已弃用，请改用 .set_keys(priority_key=priority_key)] 当 sampler 类型为 PrioritizedSampler 时，假定优先级存储在添加到此 ReplayBuffer 的 TensorDict 中的键。默认为 "td_error"。

• reduction (str, optional) – 指定应用于输出的约简："none" | "mean" | "sum"。"none"：不应用约简，"mean"：输出的总和将除以输出中的元素数量，"sum"：将对输出进行求和。默认为 "mean"。

default_keys

别名：_AcceptedKeys

forward(input_tensordict: TensorDictBase) → TensorDict

它旨在读取一个输入的 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

将损失分解为其组成部分可以被训练器用于在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入的 tensordict，包含计算损失所需的值。

返回:

一个没有批处理维度的新 tensordict，其中包含各种损失标量，这些标量将被命名为“loss*”。重要的是，损失必须以这个名称返回，因为它们将在反向传播之前被训练器读取。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

值函数构造函数。

如果需要非默认值函数，必须使用此方法构建。

参数:

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的值函数。如果未提供，将使用存储在 default_value_estimator 属性中的默认值。生成的估值器类将注册在 self.value_type 中，以便将来进行改进。

• **hyperparams – 用于值函数的超参数。如果未提供，将使用 default_value_kwargs() 中指示的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)