注意
转到末尾 以下载完整的示例代码。
学习基础知识 || 快速入门 || 张量 || 数据集和数据加载器 || 变换 || 构建模型 || 自动求导 || 优化 || 保存与加载模型
保存和加载模型#
创建日期:2021年02月09日 | 最后更新:2025年09月25日 | 最后验证:2024年11月05日
在本节中,我们将探讨如何通过保存、加载和运行模型预测来持久化模型状态。
import torch
import torchvision.models as models
保存和加载模型权重#
PyTorch 模型将其学习到的参数存储在一个内部状态字典中,称为 state_dict。可以使用 torch.save 方法将它们持久化。
model = models.vgg16(weights='IMAGENET1K_V1')
torch.save(model.state_dict(), 'model_weights.pth')
Downloading: "https://download.pytorch.org/models/vgg16-397923af.pth" to /var/lib/ci-user/.cache/torch/hub/checkpoints/vgg16-397923af.pth
0%| | 0.00/528M [00:00<?, ?B/s]
8%|▊ | 40.2M/528M [00:00<00:01, 421MB/s]
16%|█▌ | 82.0M/528M [00:00<00:01, 430MB/s]
24%|██▎ | 125M/528M [00:00<00:00, 440MB/s]
32%|███▏ | 168M/528M [00:00<00:00, 444MB/s]
40%|████ | 211M/528M [00:00<00:00, 447MB/s]
48%|████▊ | 254M/528M [00:00<00:00, 448MB/s]
56%|█████▋ | 298M/528M [00:00<00:00, 449MB/s]
65%|██████▍ | 341M/528M [00:00<00:00, 450MB/s]
73%|███████▎ | 384M/528M [00:00<00:00, 451MB/s]
81%|████████ | 427M/528M [00:01<00:00, 452MB/s]
89%|████████▉ | 470M/528M [00:01<00:00, 452MB/s]
97%|█████████▋| 514M/528M [00:01<00:00, 452MB/s]
100%|██████████| 528M/528M [00:01<00:00, 448MB/s]
要加载模型权重,您需要先创建一个同模型的实例,然后使用 load_state_dict() 方法加载参数。
在下面的代码中,我们将 weights_only 设置为 True,以将反序列化期间执行的函数限制为仅加载权重所必需的函数。在加载权重时,将 weights_only 设置为 True 被认为是最佳实践。
model = models.vgg16() # we do not specify ``weights``, i.e. create untrained model
model.load_state_dict(torch.load('model_weights.pth', weights_only=True))
model.eval()
VGG(
(features): Sequential(
(0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace=True)
(2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(3): ReLU(inplace=True)
(4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(6): ReLU(inplace=True)
(7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(8): ReLU(inplace=True)
(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(11): ReLU(inplace=True)
(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(13): ReLU(inplace=True)
(14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(15): ReLU(inplace=True)
(16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(18): ReLU(inplace=True)
(19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(20): ReLU(inplace=True)
(21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(22): ReLU(inplace=True)
(23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(25): ReLU(inplace=True)
(26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(27): ReLU(inplace=True)
(28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(29): ReLU(inplace=True)
(30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
)
(avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
(classifier): Sequential(
(0): Linear(in_features=25088, out_features=4096, bias=True)
(1): ReLU(inplace=True)
(2): Dropout(p=0.5, inplace=False)
(3): Linear(in_features=4096, out_features=4096, bias=True)
(4): ReLU(inplace=True)
(5): Dropout(p=0.5, inplace=False)
(6): Linear(in_features=4096, out_features=1000, bias=True)
)
)
注意
在进行推理之前,请务必调用 model.eval() 方法以将 dropout 和 batch normalization 层设置为评估模式。否则将导致不一致的推理结果。
保存和加载带形状的模型#
在加载模型权重时,我们需要先实例化模型类,因为类定义了网络的结构。如果我们想将此类的结构与模型一起保存,那么我们可以将 model(而不是 model.state_dict())传递给保存函数。
torch.save(model, 'model.pth')
然后,我们可以按照下面的方法加载模型。
如 保存和加载 torch.nn.Modules 中所述,保存 state_dict 被认为是最佳实践。但是,我们在下面使用了 weights_only=False,因为这涉及到加载模型,这是 torch.save 的一个遗留用例。
model = torch.load('model.pth', weights_only=False)
注意
此方法在序列化模型时使用 Python 的 pickle 模块,因此它依赖于在加载模型时可用实际的类定义。