RoboHiveEnv

torchrl.envs.RoboHiveEnv(*args, **kwargs)

RoboHive gym 环境的包装器。

RoboHive 是一个通过 OpenAI-Gym API 暴露的、使用 MuJoCo 物理引擎模拟的环境/任务集合。

Github: https://github.com/vikashplus/robohive/

文档: https://github.com/vikashplus/robohive/wiki

论文: https://arxiv.org/abs/2310.06828

警告

RoboHive 需要 gym 0.13。

参数:

• env_name (str) – 要构建的环境名称。必须是 available_envs 中的一个。

• categorical_action_encoding (bool, optional) – 如果为 True，则分类规范将被转换为 TorchRL 的等效项 (torchrl.data.Categorical)，否则将使用独热编码 (torchrl.data.OneHot)。默认为 False。

关键字参数:

• from_pixels (bool, optional) – 如果为 True，将尝试从环境中返回像素观测值。默认情况下，这些观测值将写入 "pixels" 条目下。使用的方法因 gym 版本而异，可能涉及 wrappers.pixel_observation.PixelObservationWrapper。默认为 False。

• pixels_only (bool, optional) – 如果为 True，则只返回像素观测值（默认在输出 tensordict 的 "pixels" 条目下）。如果为 False，则在 from_pixels=True 时返回观测值（例如状态）和像素。默认为 True。

• from_depths (bool, optional) – 如果为 True，将尝试从环境中返回深度观测值。默认情况下，这些观测值将写入 "depths" 条目下。需要 from_pixels 为 True。默认为 False。

• frame_skip (int, optional) – 如果提供，表示应重复同一动作多少个步骤。返回的观测值将是该序列的最后一个观测值，而奖励将是所有步骤的奖励总和。

• device (torch.device, optional) – 如果提供，表示数据要被转换到的设备。默认为 torch.device("cpu")。

• batch_size (torch.Size, optional) – 仅 torch.Size([]) 可与 RoboHiveEnv 一起使用，因为该类不支持向量化环境。要一次执行多个环境，请参见 ParallelEnv。

• allow_done_after_reset (bool, optional) – 如果为 True，则允许在调用 reset() 后立即将环境设置为 done。默认为 False。

变量:

available_envs (list) – 要构建的可用环境列表。

示例

>>> from torchrl.envs import RoboHiveEnv
>>> env = RoboHiveEnv(RoboHiveEnv.available_envs[0])
>>> env.rollout(3)