AdditiveGaussianModule

class torchrl.modules.AdditiveGaussianModule(*args, **kwargs)

加性高斯 PO 模块。

参数:

• spec (TensorSpec) – 用于采样动作的 spec。采样动作将在探索后投影到有效的动作空间。

• sigma_init (标量, 可选) – 初始 epsilon 值。默认值：1.0

• sigma_end (标量, 可选) – 最终 epsilon 值。默认值：0.1

• annealing_num_steps (int, 可选) – sigma 达到 sigma_end 值所需的步数。默认值：1000

• mean (float, 可选) – 每个输出元素的正态分布的均值。默认值：0.0

• std (float, 可选) – 每个输出元素的正态分布的标准差。默认值：1.0

关键字参数:

• action_key (NestedKey, 可选) – 如果策略模块有多个输出键，则其输出 spec 的类型将是 Composite。需要知道在哪里找到动作 spec。默认值：“action”

• safe (bool) – 如果为 True，则给定的动作 spec 之外的动作将使用 TensorSpec.project 的启发式方法投影到该空间内。默认值：False

• device (torch.device, 可选) – 需要存储缓冲区的设备。

注意

在训练循环中加入对 step() 的调用对于更新探索因子至关重要。由于不容易捕获此遗漏，如果省略，将不会引发任何警告或异常！

forward(tensordict: TensorDictBase) → TensorDictBase

定义每次调用时执行的计算。

所有子类都应重写此方法。

注意

尽管前向传播的实现需要在此函数中定义，但您应该在之后调用 Module 实例而不是此函数，因为前者会处理注册的钩子，而后者则会静默忽略它们。

step(frames: int = 1) → None

sigma 衰减的一步。

在调用此方法 self.annealing_num_steps 次后，调用将不再产生任何效果。

参数:

frames (int) – 自上一步以来的帧数。默认为 1。