raft_large¶

torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) → RAFT[源代码]¶

RAFT 模型源自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow。

有关如何使用此模型的教程，请参阅以下示例。

参数:

weights (Raft_Large_Weights, 可选) – 使用的预训练权重。有关更多详细信息和可能的值，请参阅下面的 Raft_Large_Weights。默认情况下，不使用预训练权重。
progress（bool）– 如果为 True，则在 stderr 上显示下载进度条。默认为 True。
**kwargs – 传递给 torchvision.models.optical_flow.RAFT 基类的参数。有关此类的更多详细信息，请参阅源代码。

class torchvision.models.optical_flow.Raft_Large_Weights(value)[源代码]¶

上面的模型构建器接受以下值作为 weights 参数。 Raft_Large_Weights.DEFAULT 等同于 Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字符串，例如 weights='DEFAULT' 或 weights='C_T_V1'。

此处报告的指标如下。 epe 是“端点误差”，表示预测流与其真实值相差的像素距离。此值是对所有图像的所有像素的平均值。 per_image_epe 类似，但平均方式不同：epe 首先在每个图像上独立计算，然后对所有图像求平均。这对应于原始论文中的“Fl-epe”（有时写为“F1-epe”），并且仅用于 Kitti。 fl-all 也是 Kitti 特有的指标，由数据集作者定义，并用于 Kitti 排行榜。它对应于 epe 小于 3 像素或流的 2-范数小于 5% 的像素的平均值。

Raft_Large_Weights.C_T_V1:

这些权重是从原始论文移植的。它们在 FlyingChairs + FlyingThings3D 上训练。

epe (在 Sintel-Train-Cleanpass 上)	1.4411
epe (在 Sintel-Train-Finalpass 上)	2.7894
per_image_epe (在 Kitti-Train 上)	5.0172
fl_all (在 Kitti-Train 上)	17.4506
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_V1.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

Raft_Large_Weights.C_T_V2:

这些权重是从头开始训练的。它们在 FlyingChairs + FlyingThings3D 上预训练。

epe (在 Sintel-Train-Cleanpass 上)	1.3822
epe (在 Sintel-Train-Finalpass 上)	2.7161
per_image_epe (在 Kitti-Train 上)	4.5118
fl_all (在 Kitti-Train 上)	16.0679
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_V2.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

Raft_Large_Weights.C_T_SKHT_V1:

这些权重是从原始论文移植的。它们在 FlyingChairs + FlyingThings3D 上预训练，在 Sintel 上微调。Sintel 微调步骤是 Sintel、KittiFlow、HD1K 和 FlyingThings3D（clean pass）的组合。

epe (在 Sintel-Test-Cleanpass 上)	1.94
epe (在 Sintel-Test-Finalpass 上)	3.18
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_SKHT_V1.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

Raft_Large_Weights.C_T_SKHT_V2:

这些权重是从头开始训练的。它们在 FlyingChairs + FlyingThings3D 上预训练，然后在 Sintel 上微调。Sintel 微调步骤是 Sintel、KittiFlow、HD1K 和 FlyingThings3D（clean pass）的组合。也可用作 Raft_Large_Weights.DEFAULT。

epe (在 Sintel-Test-Cleanpass 上)	1.819
epe (在 Sintel-Test-Finalpass 上)	3.067
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_SKHT_V2.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

Raft_Large_Weights.C_T_SKHT_K_V1:

这些权重是从原始论文移植的。它们在 FlyingChairs + FlyingThings3D 上预训练，在 Sintel 上微调，然后又在 KittiFlow 上微调。Sintel 微调步骤已如上所述。

fl_all (在 Kitti-Test 上)	5.1
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_SKHT_K_V1.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

Raft_Large_Weights.C_T_SKHT_K_V2:

这些权重是从头开始训练的。它们在 FlyingChairs + FlyingThings3D 上预训练，在 Sintel 上微调，然后又在 KittiFlow 上微调。Sintel 微调步骤已如上所述。

fl_all (在 Kitti-Test 上)	5.19
min_size	height=128, width=128
参数数量	5257536
方案	链接
GFLOPS	211.01
文件大小	20.1 MB

推理转换可在 Raft_Large_Weights.C_T_SKHT_K_V2.transforms 处获得，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像将被缩放到 [-1.0, 1.0]。

使用 raft_large 的示例

光流：使用 RAFT 模型预测运动

raft_large¶

文档

教程

资源