maskrcnn_resnet50_fpn

torchvision.models.detection.maskrcnn_resnet50_fpn(*, weights: Optional[MaskRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) → MaskRCNN

具有来自 Mask R-CNN 论文中 ResNet-50-FPN 骨干网络的 Mask R-CNN 模型。

警告

检测模块处于 Beta 阶段，不保证向后兼容。

模型输入预期为张量列表，每个张量的形状为 [C, H, W]，对应一张图像，并且应在 0-1 范围内。不同的图像可以具有不同的尺寸。

模型的行为取决于它处于训练模式还是评估模式。

在训练期间，模型期望输入张量和目标（字典列表），包含：

• boxes (FloatTensor[N, 4]): 真实框，格式为 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels（Int64Tensor[N]）：每个真实框的类别标签。

• masks (UInt8Tensor[N, H, W]): 每个实例的分割二进制掩码

在训练期间，模型返回一个 Dict[Tensor]，包含 RPN 和 R-CNN 的分类与回归损失，以及掩码损失。

在推理期间，模型仅需要输入张量，并以 List[Dict[Tensor]] 的形式返回后处理后的预测结果，每张输入图像对应一个字典。 Dict 的字段如下，其中 N 是检测到的实例数量

• boxes (FloatTensor[N, 4]): 预测框，格式为 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels (Int64Tensor[N]): 每个实例的预测标签

• scores (Tensor[N]): 每个实例的分数

• masks (UInt8Tensor[N, 1, H, W]): 每个实例的预测掩码，范围在 0-1 之间。为了获得最终的分割掩码，可以对软掩码进行阈值处理，通常使用 0.5 (mask >= 0.5)

关于输出以及如何绘制掩码的更多详情，请参考 实例分割模型 (Instance segmentation models)。

Mask R-CNN 可以导出为 ONNX，支持固定批次大小（batch size）和固定尺寸的输入图像。

示例

>>> model = torchvision.models.detection.maskrcnn_resnet50_fpn(weights=MaskRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "mask_rcnn.onnx", opset_version = 11)

参数:

• weights (MaskRCNN_ResNet50_FPN_Weights, 可选) – 要使用的预训练权重。有关更多详情和可能的值，请参阅下文的 MaskRCNN_ResNet50_FPN_Weights。默认情况下，不使用预训练权重。

• progress (bool, optional) – 如果为 True，则在 stderr 上显示下载进度条。默认为 True。

• num_classes (int, 可选) – 模型的输出类别数（包括背景）

• weights_backbone (ResNet50_Weights, 可选) – 主干的预训练权重。

• trainable_backbone_layers (int, 可选) – 从最后一个块开始的可训练（非冻结）层数。有效值介于 0 和 5 之间，5 表示所有主干层都可训练。如果传入 None（默认值），则此值设置为 3。

• **kwargs – 传递给 torchvision.models.detection.mask_rcnn.MaskRCNN 基类的参数。有关该类的更多详情，请参考 源代码。

class torchvision.models.detection.MaskRCNN_ResNet50_FPN_Weights(value)

上述模型构建器接受以下值作为 weights 参数。MaskRCNN_ResNet50_FPN_Weights.DEFAULT 等同于 MaskRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字符串，例如 weights='DEFAULT' 或 weights='COCO_V1'。

MaskRCNN_ResNet50_FPN_Weights.COCO_V1:

这些权重是按照与论文类似的训练方案生成的。也可通过 MaskRCNN_ResNet50_FPN_Weights.DEFAULT 获取。

box_map (在 COCO-val2017 上)	37.9
mask_map (在 COCO-val2017 上)	34.6
类别	__background__, person, bicycle, … (省略 88 个)
min_size	height=1, width=1
参数数量	44401393
方案	链接
GFLOPS	134.38
文件大小	169.8 MB

推理转换可通过 MaskRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 获取，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单张 (C, H, W) 图像的 torch.Tensor 对象。图像将被缩放到 [0.0, 1.0] 范围。

使用 maskrcnn_resnet50_fpn 的示例

可视化工具

可视化工具