ObservationNorm¶

Observation 仿射变换层。

根据以下公式对观测值进行归一化：

\[obs = obs * scale + loc\]

参数:

loc (数字或张量) – 仿射变换的位置参数
scale (数字或张量) – 仿射变换的缩放参数
in_keys (NestedKey序列, 可选) – 需要归一化的条目。默认为 [“observation”, “pixels”]。所有条目将使用相同的值进行归一化：如果需要不同的行为（例如，对像素和状态使用不同的归一化），则应使用不同的 ObservationNorm 对象。
out_keys (NestedKey序列, 可选) – 输出条目。默认为 in_keys 的值。
in_keys_inv (NestedKey序列, 可选) – ObservationNorm 也支持逆变换。只有当向 in_keys_inv 提供键列表时，才会发生这种情况。如果未提供，则仅调用前向变换。
out_keys_inv (NestedKey序列, 可选) – 逆变换的输出条目。默认为 in_keys_inv 的值。
standard_normal (bool, 可选) –
如果设置为 True，则变换将是

\[obs = (obs-loc)/scale\]

如同标准化一样。默认为 False。
eps (float, 可选) – 在 standard_normal 情况下的缩放参数的增量。如果无法直接从缩放参数的数据类型恢复，则默认为 1e-6。

示例

>>> torch.set_default_tensor_type(torch.DoubleTensor)
>>> r = torch.randn(100, 3)*torch.randn(3) + torch.randn(3)
>>> td = TensorDict({'obs': r}, [100])
>>> transform = ObservationNorm(
...     loc = td.get('obs').mean(0),
...     scale = td.get('obs').std(0),
...     in_keys=["obs"],
...     standard_normal=True)
>>> _ = transform(td)
>>> print(torch.isclose(td.get('obs').mean(0),
...     torch.zeros(3)).all())
tensor(True)
>>> print(torch.isclose(td.get('next_obs').std(0),
...     torch.ones(3)).all())
tensor(True)

归一化统计量可以自动计算：.. rubric:: 示例

>>> from torchrl.envs.libs.gym import GymEnv
>>> torch.manual_seed(0)
>>> env = GymEnv("Pendulum-v1")
>>> env = TransformedEnv(env, ObservationNorm(in_keys=["observation"]))
>>> env.set_seed(0)
>>> env.transform.init_stats(100)
>>> print(env.transform.loc, env.transform.scale)
tensor([-1.3752e+01, -6.5087e-03,  2.9294e-03], dtype=torch.float32) tensor([14.9636,  2.5608,  0.6408], dtype=torch.float32)

init_stats(num_iter: int, reduce_dim: int | tuple[int] = 0, cat_dim: int | None = None, key: NestedKey | None = None, keep_dims: tuple[int] | None = None) → None[源代码]¶

初始化父环境的 loc 和 scale 统计量。

归一化常数理想情况下应使观测值的统计量接近标准高斯分布的统计量。此方法计算一个位置和缩放张量，该张量将通过使用父环境在给定步数内随机生成的数据，经验性地计算拟合高斯分布的均值和标准差。

参数:

num_iter (int) – 在环境中运行的随机迭代次数。
reduce_dim (int或int元组, 可选) – 计算均值和标准差的维度。默认为 0。
cat_dim (int, 可选) – 沿此维度连接收集的批次。它必须与 reduce_dim（如果是整数）相等，或包含在 reduce_dim 元组中。默认为与 reduce_dim 相同的值。
key (NestedKey, 可选) – 如果提供，将从产生的 tensordicts 中的此键检索汇总统计量。否则，将使用 ObservationNorm.in_keys 中的第一个键。
keep_dims (int元组, 可选) – 在 loc 和 scale 中保留的维度。例如，当在最后两个维度上对 3D 张量进行归一化时，可能希望位置和缩放参数具有形状 [C, 1, 1]，但不是第三个。默认为 None。

transform_action_spec(action_spec: TensorSpec) → TensorSpec[源代码]¶

转换动作规范，使结果规范与变换映射匹配。

参数:: action_spec (TensorSpec) – 变换前的规范
返回:: 转换后的预期规范

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec[源代码]¶

ObservationNorm¶

文档

教程

资源