torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe#
- torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe(guard_entries)[source]#
一个通用的函数，用于跳过对内置 nn 模块（如 torch.nn.Linear）的 guard。默认情况下使用此函数是不安全的。但是对于大多数 torch.compile 用户来说，模型代码不会修改内置 nn 模块的属性。他们可以通过使用此 API 来受益于 guard 延迟开销的减少。
要使用此 API，请在调用 torch.compile 时使用 guard_filter_fn 参数
>> opt_mod = torch.compile( >> mod, >> options={“guard_filter_fn”: torch.compiler.skip_guard_on_all_nn_modules_unsafe}, >> )
