torch.optim 中的别名

创建日期：2025年7月18日 | 最后更新日期：2025年7月18日

以下是在嵌套命名空间中定义的与torch.optim中对应项的别名。对于这些API中的任何一个，都可以随意使用torch.optim顶层版本，例如torch.optim.Adam，或者嵌套版本torch.optim.adam.Adam。

Adadelta	实现了 Adadelta 算法。
adadelta	执行Adadelta算法计算的函数式API。

Adagrad	实现了 Adagrad 算法。
adagrad	执行Adagrad算法计算的函数式API。

Adam	实现了 Adam 算法。
adam	执行Adam算法计算的函数式API。

Adamax	实现了 Adamax 算法（基于无穷范数的 Adam 变体）。
adamax	执行adamax算法计算的函数式API。

AdamW	实现了 AdamW 算法，其中权重衰减不累积到动量或方差中。
adamw	执行AdamW算法计算的函数式API。

ASGD	实现了平均随机梯度下降。
asgd	执行asgd算法计算的函数式API。

LBFGS

实现了 L-BFGS 算法。

NAdam算法的实现。

NAdam	实现了 NAdam 算法。
nadam	执行NAdam算法计算的函数式API。

RAdam算法的实现。

RAdam	实现了 RAdam 算法。
radam	执行RAdam算法计算的函数式API。

RMSprop算法的实现。

RMSprop	实现了 RMSprop 算法。
rmsprop	执行rmsprop算法计算的函数式API。

Resilient backpropagation的实现。

Rprop	实现了弹性反向传播算法。
rprop	执行rprop算法计算的函数式API。

Stochastic Gradient Descent优化器的实现。

SGD	实现了随机梯度下降（可选带动量）。
sgd	执行SGD算法计算的函数式API。

SparseAdam

SparseAdam实现了Adam算法的掩码版本，适用于稀疏梯度。