torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe

torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe(guard_entries)

一个通用的函数，用于跳过对内置 nn 模块（如 torch.nn.Linear）的 guard。默认情况下，此函数不安全。但是，对于大多数 torch.compile 用户来说，他们的模型代码不会修改内置 nn 模块的属性。通过使用此 API，他们可以从 guard 延迟开销的减少中受益。

要使用此 API，请在调用 torch.compile 时使用 guard_filter_fn 参数

>> opt_mod = torch.compile( >> mod, >> options={“guard_filter_fn”: torch.compiler.skip_guard_on_all_nn_modules_unsafe}, >> )