LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

从类似 huggingface 的 *LMHeadModel 构建 Actor-Value Operator。

此方法

• 接受一个类似 huggingface 的 *LMHeadModel 作为输入

• 提取最终的线性层，将其用作 actor_head 的基准层，并添加采样层

• 使用通用 Transformer 作为通用模型

• 添加一个线性 Critic

参数:

base_model – 由 .transformer 模型和 .lm_head 线性层组成的 torch 模型