stateless_init_process_group_async

class torchrl.modules.llm.stateless_init_process_group_async(master_address: str | None, master_port: str | None, rank: int, world_size: int, device)

为分布式通信（异步版本）初始化一个无状态进程组。

创建 StatelessProcessGroup 实例，而不依赖于 torch.distributed 中的全局进程组。建议使用此方法来初始化外部进程（例如，训练进程）和 vLLM 工作进程之间的数据平面通信（NCCL）。

参数:

• master_address (str | None) – 主节点的地址。如果未指定，则默认为“localhost”。

• master_port (str | None) – 主节点使用的端口。如果未指定，则自动分配一个开放的端口。

• rank (int) – 当前进程的 rank。

• world_size (int) – 分布式组中的总进程数。

• device – 用于通信的设备。

返回:

一个使用创建的 StatelessProcessGroup 实例化的 PyNcclCommunicator 实例。

返回类型:

PyNcclCommunicator