LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

从类 huggingface 的 *LMHeadModel 构建 Actor-Value 操作器。

此方法

• 接收一个类 huggingface 的 *LMHeadModel 作为输入

• 提取最后的线性层，将其用作 actor_head 的基础层，并添加采样层

• 使用通用的 transformer 作为公共模型

• 添加一个线性 critic

参数:

base_model – 一个由 .transformer 模型和 .lm_head 线性层组成的 torch 模型