TorchRL¶

TorchRL 是一个用于 PyTorch 的开源强化学习 (RL) 库。
您可以直接从 PyPI 安装 TorchRL(有关安装说明,请参阅下方的专门部分)
$ pip install torchrl
TorchRL 提供以 PyTorch 和 Python 为中心的、低级和高级的 RL 抽象,旨在高效、模块化、文档齐全且经过充分测试。其代码旨在支持 RL 研究。其中大部分代码以高度模块化的方式用 Python 编写,研究人员可以轻松地替换组件、转换它们或轻松编写新的组件。
该存储库试图与现有的 PyTorch 生态系统库保持一致,因为它有一个“数据集支柱” (环境)、转换、模型、数据实用程序(例如收集器和容器)等。TorchRL 旨在拥有尽可能少的依赖项(Python 标准库、numpy 和 PyTorch)。常见的环境库(例如 OpenAI gym)仅为可选。
在低级方面,TorchRL 提供了一组高度可重用的函数,用于 成本函数、回报 和数据处理。
TorchRL 旨在实现高模块化和良好的运行时性能。
要了解 TorchRL 的理念和功能(超出此 API 参考),请查看 TorchRL 论文。
安装¶
TorchRL 的发布与 PyTorch 同步,因此请确保您始终使用 最新版本的 PyTorch 来享受库的最新功能(尽管核心功能保证向后兼容 pytorch>=2.0)。可以通过以下方式安装 nightly 版本:
$ pip install tensordict-nightly
$ pip install torchrl-nightly
或者,如果您愿意为库做贡献,可以通过 git clone
来安装
$ cd path/to/root
$ git clone https://github.com/pytorch/tensordict
$ git clone https://github.com/pytorch/rl
$ cd tensordict
$ python setup.py develop
$ cd ../rl
$ python setup.py develop
入门¶
一系列快速教程,帮助您快速掌握库的基本功能。如果您时间紧迫,可以从 系列中的最后一项 开始,并在想了解更多信息时导航到前面的项!