使用 gym

什么是 OpenAI Gym？

OpenAI Gym 是一个 Python 库，提供了用于在 RL 上下文中编写和使用环境的工具。环境可以是模拟器，也可以是现实世界的系统（如机器人或游戏）。由于其易用性，Gym 已被广泛采用，成为 RL 和控制领域环境交互的主要 API 之一。

历史上，Gym 由 OpenAI 在 https://github.com/openai/gym 上启动。此后，OpenAI 不再维护它，该库已被 Farama Foundation 在 Gymnasium 中分叉。

请参阅 Gym 文档 以获取有关安装和使用的详细信息。

版本控制

众所周知，OpenAI Gym 库经历了多次向后不兼容的更改和重大的用户可见 API 修改。实际上，TorchRL 已针对 gym 0.13 及更高版本进行了测试，并且应该可以在这两个版本之间的任何版本上正常工作。

但是，基于 Gym 构建的库可能具有自定义的环境构建过程，这会破坏来自 GymEnv 类的自动包装。在这种情况下，最好先创建 gym 环境，然后使用 torchrl.envs.libs.gym.GymWrapper 进行包装。

如果您在使用特定版本的 gym 运行 TorchRL 时遇到问题，请随时提出 issue，我们将很乐意为您解决。