OnlineDTLoss

class torchrl.objectives.OnlineDTLoss(*args, **kwargs)

TorchRL 对在线决策 Transformer 损失的实现。

在 “Online Decision Transformer” <https://arxiv.org/abs/2202.05607> 中介绍

参数:

actor_network (ProbabilisticActor) – 随机策略

关键字参数:

• alpha_init (float, optional) – 初始熵乘数。默认为 1.0。

• min_alpha (float, optional) – alpha 的最小值。默认为 None（无最小值）。

• max_alpha (float, optional) – alpha 的最大值。默认为 None（无最大值）。

• fixed_alpha (bool, 可选) – 如果为 True，则 alpha 将固定为其初始值。否则，alpha 将被优化以匹配“target_entropy”值。默认为 False。

• target_entropy (float 或 str, 可选) – 随机策略的目标熵。默认为“auto”，此时目标熵计算为 -prod(n_actions)。

• samples_mc_entropy (int) – 估计熵的样本数量

• reduction (str, optional) – 指定应用于输出的约简："none" | "mean" | "sum"。"none"：不应用约简，"mean"：输出的总和将除以输出中的元素数量，"sum"：将对输出进行求和。默认为 "mean"。

default_keys

别名：_AcceptedKeys

forward(tensordict: TensorDictBase = None) → TensorDictBase

计算 Online Decision Transformer 的损失。