raft_large¶
- torchvision.models.optical_flow.raft_large(#, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[源代码]¶
RAFT 模型来自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow。
请参阅下面的示例，了解有关如何使用此模型的教程。
- 参数:
weights (
Raft_Large_Weights, optional) – 要使用的预训练权重。有关更多详细信息和可能的值，请参阅下面的Raft_Large_Weights。默认情况下，不使用预训练权重。progress (bool) – 如果为 True，则在 stderr 上显示下载进度条。默认为 True。
**kwargs – 传递给
torchvision.models.optical_flow.RAFT基类的参数。有关此类更多详细信息，请参阅 源代码。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[源代码]¶
上述模型构建器接受以下值作为
weights参数。Raft_Large_Weights.DEFAULT等同于Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字符串，例如weights='DEFAULT'或weights='C_T_V1'。此处报告的指标如下。
epe是“端点误差”，表示预测流与其真实值之间的距离（以像素为单位）。此值对所有图像的所有像素进行平均。per_image_epe类似，但平均方式不同：epe 首先在每张图像上独立计算，然后对所有图像进行平均。这对应于原始论文中的“Fl-epe”（有时写为“F1-epe”），并且仅在 Kitti 数据集上使用。fl-all也是 Kitti 数据集特有的指标，由该数据集的作者定义，并用于 Kitti 排行榜。它对应于 epe 小于 3 像素或流的 2-范数小于 5% 的像素的平均值。Raft_Large_Weights.C_T_V1:
这些权重是从原始论文移植过来的。它们是在
FlyingChairs+FlyingThings3D上训练的。epe (在 Sintel-Train-Cleanpass 上)
1.4411
epe (在 Sintel-Train-Finalpass 上)
2.7894
per_image_epe (在 Kitti-Train 上)
5.0172
fl_all (在 Kitti-Train 上)
17.4506
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V1.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练。epe (在 Sintel-Train-Cleanpass 上)
1.3822
epe (在 Sintel-Train-Finalpass 上)
2.7161
per_image_epe (在 Kitti-Train 上)
4.5118
fl_all (在 Kitti-Train 上)
16.0679
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V2.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
这些权重是从原始论文移植过来的。它们在
FlyingChairs+FlyingThings3D上训练，并在 Sintel 上进行了微调。Sintel 微调步骤是Sintel、KittiFlow、HD1K和FlyingThings3D（清洁通道）的组合。epe (在 Sintel-Test-Cleanpass 上)
1.94
epe (在 Sintel-Test-Finalpass 上)
3.18
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V1.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，然后在 Sintel 上进行了微调。Sintel 微调步骤是Sintel、KittiFlow、HD1K和FlyingThings3D（清洁通道）的组合。也可用作Raft_Large_Weights.DEFAULT。epe (在 Sintel-Test-Cleanpass 上)
1.819
epe (在 Sintel-Test-Finalpass 上)
3.067
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V2.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
这些权重是从原始论文移植过来的。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上进行了微调，然后又在KittiFlow上进行了微调。Sintel 微调步骤如上所述。fl_all (在 Kitti-Test 上)
5.1
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上进行了微调，然后又在KittiFlow上进行了微调。Sintel 微调步骤如上所述。fl_all (在 Kitti-Test 上)
5.19
min_size
height=128, width=128
参数数量
5257536
方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms处获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被缩放到[-1.0, 1.0]。
使用
raft_large的示例
