KLPENPPOLoss

class torchrl.objectives.KLPENPPOLoss(*args, **kwargs)

KL 惩罚 PPO 损失。

KL 惩罚损失的公式如下：

loss = loss - beta * KL(old_policy, new_policy)

“beta” 参数是动态调整的，以匹配新旧策略之间的目标 KL 散度，从而在避免两者差距过大的同时，偏好一定程度的距离。

参数:

• actor_network (ProbabilisticTensorDictSequential) – 策略算子。

• critic_network (ValueOperator) – 值运算符。

关键字参数:

• dtarg (标量, 可选) – 目标 KL 散度。默认为 0.01。

• samples_mc_kl (int, 可选) – 用于计算 KL 散度的样本数量（当无法找到解析公式时）。默认为 1。

• beta (标量, 可选) – 初始 KL 散度乘数。默认为 1.0。

• decrement (标量, 可选) – 当 KL < dtarg 时，beta 应该减少的量。有效范围：decrement <= 1.0，默认值：0.5。

• increment (标量, 可选) – 当 KL > dtarg 时，beta 应该增加的量。有效范围：increment >= 1.0，默认值：2.0。

• entropy_bonus (bool, 可选) – 如果为 True，则会向损失添加熵奖励，以鼓励探索性策略。默认为 True。

• samples_mc_entropy (int, optional) – 如果从策略算子中检索到的分布没有熵的封闭式公式，将使用蒙特卡洛估计。 samples_mc_entropy 将控制计算此估计所需的样本数量。默认为 1。

• entropy_coeff –

  标量 | Mapping[NestedKey, scalar], optional): 计算总损失时，熵的乘数。* **标量**：应用于每个动作头总熵的值。* **映射** {head_name: coeff} 为每个动作头的熵提供单独的系数。默认为 0.01。

  有关详细的使用示例和故障排除，请参阅 ppo_entropy_coefficients。

• critic_coeff (标量, 可选) – 计算总损失时，评论员损失的乘数。默认为 1.0。

• loss_critic_type (str, optional) – 值差异的 loss 函数。可以是 "l1"、"l2" 或 "smooth_l1" 之一。默认为 "smooth_l1"。

• normalize_advantage (bool, optional) – 如果为 True，则在使用之前将对优势（advantage）进行归一化。默认为 False。

• normalize_advantage_exclude_dims (Tuple[int], optional) – 在优势标准化中要排除的维度。负维度是有效的。这在多智能体（或多目标）设置中很有用，因为智能体（或目标）维度可以从缩减中排除。默认值：()。

• separate_losses (bool, 可选) – 如果为 True，则策略和评估器之间的共享参数将仅针对策略损失进行训练。默认为 False，即梯度将传播到策略和评估器损失的共享参数。

• advantage_key (str, optional) – [已弃用，请改用 set_keys(advantage_key=advantage_key) ] 预期在输入 tensordict 中写入优势的 tensordict 键。默认为 "advantage"。

• value_target_key (str, optional) – [已弃用，请改用 set_keys(value_target_key=value_target_key) ] 预期在输入 tensordict 中写入目标状态值的 tensordict 键。默认为 "value_target"。

• value_key (str, optional) – [已弃用，请改用 set_keys(value_key) ] 预期在输入 tensordict 中写入状态值的 tensordict 键。默认为 "state_value"。

• functional (bool, optional) – 模块是否应被函数化。函数化允许 meta-RL 等功能，但使得无法使用分布式模型（DDP、FSDP 等），并且会带来一点开销。默认为 True。

• reduction (str, optional) – 指定应用于输出的约简："none" | "mean" | "sum"。"none"：不应用约简，"mean"：输出的总和将除以输出中的元素数量，"sum"：将对输出进行求和。默认为 "mean"。

• clip_value (float, optional) – 如果提供，将用于计算值预测的裁剪版本，相对于输入 tensordict 的值估计，并使用它来计算值 loss。裁剪的目的是限制极端值预测的影响，有助于稳定训练并防止大幅更新。但是，如果值估计是由当前版本的值估计器完成的，则此参数将不起作用。默认为 None。

• device (torch.device, 可选) –

  缓冲区的设备。默认为 None。

  注意

  策略/ critic 的参数和缓冲区不会被转换为该设备，以确保存储与传递给其他组件（如数据收集器）的存储匹配。

注意

如果 actor 和 value function 共享参数，可以通过仅将 value network 的 head 传递给 PPO 损失模块来避免多次调用公共模块

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = KLPENPPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = KLPENPPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

无论是否激活 separate_losses，这都将起作用。

forward(tensordict: TensorDictBase = None) → TensorDict

它旨在读取一个输入的 TensorDict 并返回另一个包含名为“loss*”的损失键的 tensordict。

将损失分解为其组成部分可以被训练器用于在训练过程中记录各种损失值。输出 tensordict 中存在的其他标量也将被记录。

参数:

tensordict – 一个输入的 tensordict，包含计算损失所需的值。

返回:

一个没有批处理维度的新 tensordict，其中包含各种损失标量，这些标量将被命名为“loss*”。重要的是，损失必须以这个名称返回，因为它们将在反向传播之前被训练器读取。