使用 gym

什么是 OpenAI Gym？

OpenAI Gym 是一个 Python 库，提供用于在 RL 上下文中编写和使用环境的工具。环境可以是模拟器，也可以是真实世界系统（例如机器人或游戏）。由于其易用性，Gym 已被广泛采用，成为 RL 和控制中环境交互的主要 API 之一。

历史上，Gym 由 OpenAI 在 https://github.com/openai/gym 上启动。此后，OpenAI 不再维护它，该库已由 Farama Foundation 在 Gymnasium 中分叉。

有关安装和使用的更多详细信息，请查看 Gym 文档。

版本控制

众所周知，OpenAI Gym 库经历了多次向后不兼容的更改和重大的面向用户的 API 修改。实际上，TorchRL 是针对 gym 0.13 及更高版本进行测试的，并且应与它们之间的任何版本都能正常工作。

但是，围绕 Gym 构建的库可能具有自定义的 env 构建过程，这会破坏 `GymEnv` 类的自动包装。在这种情况下，最好先创建 gym 环境，然后使用 `torchrl.envs.libs.gym.GymWrapper` 进行包装。

如果您在使用特定版本的 gym 运行 TorchRL 时遇到问题，请随时提出 issue，我们将很乐意为您解决。