使用图中断

创建时间：2025 年 7 月 28 日 | 最后更新时间：2025 年 7 月 28 日

您可能还记得（Dynamo 核心概念）[programming_model.dynamo_core_concepts] 中提到的，当 Dynamo 遇到无法追踪的代码时，它会执行图中断。在默认的 torch.compile 设置下，Dynamo 会编译到目前为止确定的 FX 图，然后以常规 Python 方式执行不支持的代码，之后再恢复追踪。

图中断使 Dynamo 能够追踪任意 Python 代码，并从中划分出可单独优化的功能子图。

然而，图中断可能会导致 torch.compile 出现意外的性能下降。如果您没有看到预期的加速效果，我们建议检查图中断并将其移除。

接下来的部分将概述解决图中断的策略。

• 使用 fullgraph=True 来识别和消除图断点
  • 策略 1：重写不支持的代码以使用 Dynamo 支持的功能
  • 策略 2：纯函数可以通过逃生舱口始终编译。
  • 策略 3：不编译代码
• 常见图断点
  • 错误的代码
  • 数据依赖操作
  • 打印和日志记录
• 使用 torch._dynamo.nonstrict_trace
• 自定义算子
• 使用 fullgraph=False
  • 在哪里应用 torch.compile？
    • compile(model) vs model.compile()
  • 禁用和抑制错误
  • 切换 error_on_graph_break
    • error_on_graph_break(False) 示例
    • error_on_graph_break(True) 示例
    • error_on_graph_break 嵌套行为
    • 与 fullgraph 的交互
    • fullgraph=True/False vs error_on_graph_break 总结
  • 嵌套图中断
  • 跳过的函数
    • 循环中的图中断
    • 上下文管理器中的图中断
    • Try 块中的图中断
    • 达到重新编译限制
    • 编译器错误
    • 处理跳过的函数