VecGymEnvTransform

class torchrl.envs.transforms.VecGymEnvTransform(final_name: str = 'final', missing_obs_value: Any = nan)

一个用于 GymWrapper 子类的转换，以一致的方式处理自动重置。

Gym、gymnasium 和 SB3 提供向量化（读取、并行或批量）环境，这些环境会自动重置。发生这种情况时，实际的观测结果会保存在 info 中的一个键中。类 torchrl.envs.libs.gym.terminal_obs_reader 会读取该观测结果，并将其存储在输出 tensordict 中的 "final" 键中。接着，该转换会读取这个 final 数据，将其与实际重置操作写入的观测结果进行交换，并将重置后的输出保存在私有容器中。生成的数据真正反映了 step 的输出。

此类适用于从 gym 0.13 到最新的 gymnasium 版本。

注意

Gym 版本 < 0.22 不返回最终观测结果。对于这些版本，我们只用 NaN 填充下一个观测结果（因为它丢失了），并在下一步进行交换。

然后，当调用 env.reset 时，保存的数据会被写回原处（并且 reset 操作将不起作用）。

当使用异步环境创建 wrapper 时，此转换会自动附加到 gym 环境中。

参数:

• final_name (str, optional) – dict 中最终观测值的名称。默认为 “final”。

• missing_obs_value (Any, optional) – 用于缺失的最后一个观测值的默认占位符。默认为 np.nan。

注意

总的来说，此类不应直接处理。当一个向量化环境被放置在 GymWrapper 中时，它会被自动创建。

forward(tensordict: TensorDictBase) → TensorDictBase

读取输入 tensordict，并对选定的键应用转换。

默认情况下，此方法

• 直接调用 _apply_transform()。

• 不调用 _step() 或 _call()。

此方法不会在任何时候在 env.step 中调用。但是，它会在 sample() 中调用。

注意

forward 也可以使用 dispatch 将参数名称转换为键，并使用常规关键字参数。

示例

>>> class TransformThatMeasuresBytes(Transform):
...     '''Measures the number of bytes in the tensordict, and writes it under `"bytes"`.'''
...     def __init__(self):
...         super().__init__(in_keys=[], out_keys=["bytes"])
...
...     def forward(self, tensordict: TensorDictBase) -> TensorDictBase:
...         bytes_in_td = tensordict.bytes()
...         tensordict["bytes"] = bytes
...         return tensordict
>>> t = TransformThatMeasuresBytes()
>>> env = env.append_transform(t) # works within envs
>>> t(TensorDict(a=0))  # Works offline too.

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观察规范，使结果规范与转换映射匹配。

参数:

observation_spec (TensorSpec) – 转换前的规范

返回:

转换后的预期规范