GAILLoss

class torchrl.objectives.GAILLoss(*args, **kwargs)

TorchRL 实现的生成对抗模仿学习 (GAIL) 损失。

在 “Generative Adversarial Imitation Learning” <https://arxiv.org/pdf/1606.03476> 中提出

参数:

discriminator_network (TensorDictModule) – 随机策略

关键字参数:

• use_grad_penalty (bool, optional) – 是否使用梯度惩罚。默认值：False。

• gp_lambda (float, optional) – 梯度惩罚 lambda。默认值：10。

• reduction (str, optional) – 指定应用于输出的约简："none" | "mean" | "sum"。"none"：不应用约简，"mean"：输出的总和将除以输出中的元素数量，"sum"：将对输出进行求和。默认为 "mean"。

default_keys

别名：_AcceptedKeys

forward(tensordict: TensorDictBase = None) → TensorDictBase

forward 方法。

计算判别器损失和梯度惩罚（如果 use_grad_penalty 设置为 True）。如果 use_grad_penalty 设置为 True，还将返回解耦的梯度惩罚损失以用于日志记录。要查看输入 tensordict 所期望的键以及输出所期望的键，请查看类的 “in_keys” 和 “out_keys” 属性。