DreamerValueLoss

class torchrl.objectives.DreamerValueLoss(*args, **kwargs)

Dreamer Value Loss。

计算 Dreamer value 模型的损失。value 损失在预测值和 lambda 目标之间计算。

参考： https://arxiv.org/abs/1912.01603。

参数:

• value_model (TensorDictModule) – value 模型。

• value_loss (str, optional) – 用于 value 损失的损失函数。默认为： "l2"。

• discount_loss (bool, optional) – 如果为 True，则损失会以 gamma 折扣因子进行折算。默认为 False。

• gamma (float, optional) – gamma 折扣因子。默认为： 0.99。

default_keys

别名：_AcceptedKeys

forward(fake_data) → Tensor

它旨在读取一个输入的 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

将损失分解为其组成部分可以被训练器用于在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入的 tensordict，包含计算损失所需的值。

返回:

一个没有批处理维度的新 tensordict，其中包含各种损失标量，这些标量将被命名为“loss*”。重要的是，损失必须以这个名称返回，因为它们将在反向传播之前被训练器读取。