DreamerActorLoss

class torchrl.objectives.DreamerActorLoss(*args, **kwargs)

Dreamer Actor Loss。

计算 dreamer actor 的损失。actor 损失计算为平均 lambda 回报的负值。

参考： https://arxiv.org/abs/1912.01603。

参数:

• actor_model (TensorDictModule) – actor 模型。

• value_model (TensorDictModule) – value 模型。

• model_based_env (DreamerEnv) – 基于模型的环境。

• imagination_horizon (int, optional) – unroll 模型的步数。默认为 15。

• discount_loss (bool, optional) – 如果为 True，则损失会乘以 gamma 折扣因子。默认为 False。

default_keys

别名：_AcceptedKeys

forward(tensordict: TensorDict) → tuple[tensordict._td.TensorDict, tensordict._td.TensorDict]

它旨在读取一个输入的 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

将损失分解为其组成部分可以被训练器用于在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入的 tensordict，包含计算损失所需的值。

返回:

一个没有批处理维度的新 tensordict，其中包含各种损失标量，这些标量将被命名为“loss*”。重要的是，损失必须以这个名称返回，因为它们将在反向传播之前被训练器读取。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

值函数构造函数。

如果需要非默认值函数，必须使用此方法构建。

参数:

• value_type (ValueEstimators) – 一个 ValueEstimators 枚举类型，指示要使用的值函数。如果未提供，则使用存储在 default_value_estimator 属性中的默认值。生成的 value estimator 类将被注册在 self.value_type 中，以便将来进行改进。

• **hyperparams – 用于 value 函数的超参数。如果未提供，将使用 default_value_kwargs() 中指定的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)