GymWrapper¶

torchrl.envs.GymWrapper(*args, **kwargs)[源代码]¶

OpenAI Gym 环境包装器。

适用于 gymnasium 和 OpenAI/gym。

参数:

env (gym.Env) – 要包装的环境。支持批量环境（VecEnv 或 gym.VectorEnv），环境的批次大小将反映并行执行的环境数量。
categorical_action_encoding (bool, optional) – 如果为 True，则分类规范将转换为 TorchRL 的等效项（torchrl.data.Categorical），否则将使用独热编码（torchrl.data.OneHot）。默认为 False。

关键字参数:

from_pixels (bool, optional) – 如果为 True，将尝试从 env 返回像素观测值。默认情况下，这些观测值将写入 "pixels" 条目下。使用的方法因 gym 版本而异，可能涉及 wrappers.pixel_observation.PixelObservationWrapper。默认为 False。
pixels_only (bool, optional) – 如果为 True，则只返回像素观测值（默认在输出 tensordict 的 "pixels" 条目下）。如果为 False，则当 from_pixels=True 时，将返回观测值（例如，状态）和像素。默认为 True。
frame_skip (int, optional) – 如果提供，表示同一动作将被重复多少个步骤。返回的观测值将是该序列的最后一个观测值，而奖励将是步骤的总奖励。
device (torch.device, optional) – 如果提供，数据将被强制转换到此设备。默认为 torch.device("cpu")。
batch_size (torch.Size, optional) – 环境的批次大小。应匹配所有观测值、结束状态、奖励、动作和信息的领先维度。默认为 torch.Size([])。
allow_done_after_reset (bool, optional) – 如果为 True，则允许在调用 reset() 后环境立即变为 done。默认为 False。
convert_actions_to_numpy (bool, optional) – 如果为 True，动作将被从张量转换为 numpy 数组并移动到 CPU，然后再传递给 env 的 step 函数。如果环境在 GPU 上进行评估（例如 IsaacLab），请将其设置为 False。默认为 True。
missing_obs_value (Any, optional) – 当环境自动重置且在 info 字典中找不到缺失的观测值时（例如，在 IsaacLab 中）用作缺失观测值的占位符的默认值。此参数由元类传递给 VecGymEnvTransform。

变量:

available_envs (List[str]) – 要构建的环境列表。

注意

如果找不到属性，此类将尝试从嵌套的环境中检索它

>>> from torchrl.envs import GymWrapper
>>> import gymnasium as gym
>>> env = GymWrapper(gym.make("Pendulum-v1"))
>>> print(env.spec.max_episode_steps)
200

示例

>>> import gymnasium as gym
>>> from torchrl.envs import GymWrapper
>>> base_env = gym.make("Pendulum-v1")
>>> env = GymWrapper(base_env)
>>> td = env.rand_step()
>>> print(td)
TensorDict(
    fields={
        action: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
        next: TensorDict(
            fields={
                done: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                observation: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False),
                reward: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
                terminated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                truncated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([]),
            device=cpu,
            is_shared=False)},
    batch_size=torch.Size([]),
    device=cpu,
    is_shared=False)
>>> print(env.available_envs)
['ALE/Adventure-ram-v5', 'ALE/Adventure-v5', 'ALE/AirRaid-ram-v5', 'ALE/AirRaid-v5', 'ALE/Alien-ram-v5', 'ALE/Alien-v5',

注意

info 字典将使用 default_info_dict_reader 读取，如果没有提供其他读取器。要提供其他读取器，请参阅 set_info_dict_reader()。要自动注册 info_dict 内容，请参阅 torchrl.envs.GymLikeEnv.auto_register_info_dict()。对于并行（矢量化）环境，info 字典读取器已自动设置，不应手动设置。

注意

Gym 空间并未完全覆盖。以下空间已被考虑在内，前提是它们可以用 torch.Tensor、嵌套张量和/或 tensordict 来表示

spaces.Box
spaces.Sequence
spaces.Tuple
spaces.Discrete
spaces.MultiBinary
spaces.MultiDiscrete
spaces.Dict

在处理 gym 空间时应考虑一些事项。例如，空间元组只能在空间语义相同（相同的数据类型和相同的维度数）的情况下才能支持。可以通过 nested_tensor() 支持不规则维度，但此时只能有一个级别的元组，并且数据应该沿第一个维度堆叠（因为 nested_tensors 只能沿第一个维度堆叠）。

请查看 examples/envs/gym_conversion_examples.py 中的示例了解更多信息！

GymWrapper¶

文档

教程

资源