Tokenizer

class torchrl.envs.transforms.Tokenizer(in_keys: Sequence[NestedKey] | None = None, out_keys: Sequence[NestedKey] | None = None, in_keys_inv: Sequence[NestedKey] | None = None, out_keys_inv: Sequence[NestedKey] | None = None, *, tokenizer: transformers.PretrainedTokenizerBase = None, use_raw_nontensor: bool = False, additional_tokens: list[str] | None = None, skip_special_tokens: bool = True, add_special_tokens: bool = False, padding: bool = True, max_length: int | None = None, return_attention_mask: bool = True, missing_tolerance: bool = True, call_before_reset: bool = False)

对指定输入应用分词操作。

参数:

• in_keys (NestedKey 的序列) – 输入进行分词操作的键。

• out_keys (NestedKey 的序列) – 分词操作输出的键。

• in_keys_inv (NestedKey 的序列, 可选) – 在反向调用时，输入分词操作的键。

• out_keys_inv (NestedKey 的序列, 可选) – 在反向调用时，输出分词操作的键。

关键字参数:

• tokenizer (transformers.PretrainedTokenizerBase 或 str, 可选) – 要使用的分词器。如果为 None，则默认使用“bert-base-uncased”。如果提供字符串，则应为预训练分词器的名称。

• use_raw_nontensor (bool, 可选) – 如果为 False，则在调用分词函数之前，数据将从 NonTensorData/NonTensorStack 输入中提取。如果为 True，则将原始 NonTensorData/NonTensorStack 输入直接提供给分词函数，后者必须支持这些输入。默认为 False。

• additional_tokens (List[str], 可选) – 要添加到分词器词汇表中的额外 token 列表。

注意

此转换可以同时用于将输出字符串转换为 token，以及将分词后的动作或状态转换回字符串。如果环境具有字符串状态规范，则转换后的版本将具有分词后的状态规范。如果它是字符串动作规范，它将导致分词后的动作规范。

forward(tensordict: TensorDictBase = None) → TensorDictBase

读取输入 tensordict，并对选定的键应用转换。

默认情况下，此方法

• 直接调用 _apply_transform()。

• 不调用 _step() 或 _call()。

此方法不会在任何时候在 `env.step` 中调用。但是，它会在 `sample()` 中被调用。

注意

forward 也可以使用 `dispatch` 与常规关键字参数一起使用，将参数名称转换为键。

示例

>>> class TransformThatMeasuresBytes(Transform):
...     '''Measures the number of bytes in the tensordict, and writes it under `"bytes"`.'''
...     def __init__(self):
...         super().__init__(in_keys=[], out_keys=["bytes"])
...
...     def forward(self, tensordict: TensorDictBase) -> TensorDictBase:
...         bytes_in_td = tensordict.bytes()
...         tensordict["bytes"] = bytes
...         return tensordict
>>> t = TransformThatMeasuresBytes()
>>> env = env.append_transform(t) # works within envs
>>> t(TensorDict(a=0))  # Works offline too.

transform_done_spec(done_spec: TensorSpec) → TensorSpec

变换 done spec，使结果 spec 与变换映射匹配。

参数:

done_spec (TensorSpec) – 变换前的 spec

返回:

转换后的预期规范

transform_input_spec(input_spec: Composite) → Composite

转换输入规范，使结果规范与转换映射匹配。

参数:

input_spec (TensorSpec) – 转换前的规范

返回:

转换后的预期规范

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观察规范，使结果规范与转换映射匹配。

参数:

observation_spec (TensorSpec) – 转换前的规范

返回:

转换后的预期规范

transform_output_spec(output_spec: Composite) → Composite

转换输出规范，使结果规范与转换映射匹配。

此方法通常应保持不变。更改应通过 `transform_observation_spec()`、 `transform_reward_spec()` 和 `transform_full_done_spec()` 来实现。 :param output_spec: 转换前的规范 :type output_spec: TensorSpec

返回:

转换后的预期规范

transform_reward_spec(reward_spec: TensorSpec) → TensorSpec

转换奖励的 spec，使其与变换映射匹配。

参数:

reward_spec (TensorSpec) – 变换前的 spec

返回:

转换后的预期规范