快捷方式

vLLMWorker

class torchrl.modules.llm.vLLMWorker(*args, **kwargs)[source]

Ray 的 vLLM 工作器。

vLLMParameterServer 将始终采用此工作器初始化的无状态进程组中的 rank 0。LLM 类相关的 tp ranks 将在 [1, tp_size] 范围内。

check_weights_changed()[source]

检查权重是否更新为 0。

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

为初学者和高级开发者提供深入的教程

查看教程

资源

查找开发资源并让您的问题得到解答

查看资源