Optimizers#

该模块实现了一个与 Manager 配合工作的优化器包装器，以提供容错能力。

class torchft.optim.OptimizerWrapper(manager: Manager, optim: Optimizer)[source]#

Bases: Optimizer

这包装了任何提供的优化器，并与管理器结合提供容错能力。

必须在正向传播开始时调用 zero_grad()，并在反向传播结束时调用 step()。

根据管理器的状态，优化器将提交梯度给包装的优化器或忽略它们。

add_param_group(param_group: Dict[str, Any]) → None[source]#

向优化器的 param_groups 添加一个参数组。

这在对预训练网络进行微调时可能很有用，因为在训练过程中，可以使冻结的层可训练并将其添加到优化器中。

参数: param_group (dict) – 指定要优化哪些张量以及特定于组的优化选项。

load_state_dict(state_dict: Dict[str, Any]) → None[source]#

加载优化器状态。

参数: state_dict (dict) – 优化器状态。应为调用 state_dict() 返回的对象。

警告

请确保此方法在初始化 torch.optim.lr_scheduler.LRScheduler 后调用，因为提前调用它会覆盖加载的学习率。

注意

参数的名称（如果存在于 state_dict() 中每个参数组的“param_names”键下）不会影响加载过程。要为自定义情况使用参数名称（例如，当加载的状态字典中的参数与优化器中初始化的参数不同时），应实现自定义 register_load_state_dict_pre_hook 来相应地调整加载的字典。如果加载的状态字典中存在 param_names，它们将被保存并覆盖优化器状态中当前存在的名称。如果它们不存在于加载的状态字典中，优化器的 param_names 将保持不变。

示例

>>> # xdoctest: +SKIP
>>> model = torch.nn.Linear(10, 10)
>>> optim = torch.optim.SGD(model.parameters(), lr=3e-4)
>>> scheduler1 = torch.optim.lr_scheduler.LinearLR(
...     optim,
...     start_factor=0.1,
...     end_factor=1,
...     total_iters=20,
... )
>>> scheduler2 = torch.optim.lr_scheduler.CosineAnnealingLR(
...     optim,
...     T_max=80,
...     eta_min=3e-5,
... )
>>> lr = torch.optim.lr_scheduler.SequentialLR(
...     optim,
...     schedulers=[scheduler1, scheduler2],
...     milestones=[20],
... )
>>> lr.load_state_dict(torch.load("./save_seq.pt"))
>>> # now load the optimizer checkpoint after loading the LRScheduler
>>> optim.load_state_dict(torch.load("./save_optim.pt"))

property param_groups: List[Dict[str, Any]][source]#

property state: Mapping[Tensor, Any][source]#

state_dict() → Dict[str, Any][source]#

将优化器状态作为 dict 返回。

它包含两个条目

state：一个包含当前优化状态的 Dict。其内容
不同优化器类之间存在差异，但一些共同的特征是存在的。例如，状态是按参数保存的，而参数本身不保存。state 是一个映射参数 ID 到包含每个参数状态的字典的字典。
param_groups：一个包含所有参数组的 List，其中每个
参数组是一个字典。每个参数组包含特定于优化器的元数据，例如学习率和权重衰减，以及组中参数的参数 ID 列表。如果一个参数组是用 named_parameters()初始化的，那么名称内容也将保存在状态字典中。

注意：参数 ID 可能看起来像索引，但它们只是将状态与 param_group 关联的 ID。从 state_dict 加载时，优化器会将 param_group params（整数 ID）和优化器 param_groups（实际 nn.Parameter）进行 zip，以匹配状态，而无需额外验证。

返回的状态字典可能看起来像

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

step(closure: Optional[object] = None) → None[source]#

执行一次优化步骤来更新参数。

参数: closure (Callable) – 一个重新评估模型并返回损失的闭包。对大多数优化器来说是可选的。

zero_grad(set_to_none: bool = True) → None[source]#

重置所有优化张量的梯度 torch.Tensor。

参数: set_to_none (bool) – 将梯度设置为 None 而不是零。这通常会降低内存占用，并可能适度提高性能。但是，它会改变某些行为。例如：1.当用户尝试访问梯度并对其执行手动操作时，None 属性或充满 0 的张量行为将不同。2.如果用户请求 zero_grad(set_to_none=True) 然后进行反向传播，对于未接收到梯度的参数，其 .grad 将保证为 None。3. torch.optim 优化器在梯度为 0 或 None 时行为不同（一种情况是使用梯度 0 执行步长，另一种情况是跳过步长）。

Optimizers#

文档

教程

资源