torch.compile 编程模型

创建于：2025年7月28日 | 最后更新于：2025年7月29日

torch.compile 编程模型

1. 阐明了 torch.compile 的一些内部行为，以便用户更好地预测编译器在用户代码上的行为，并

2. 提供了用户对 torch.compile 进行更精细控制的方法。

通过理解 torch.compile 编程模型，用户在遇到 torch.compile 问题时，可以系统性地解决这些问题。

• Dynamo 核心概念
  • Dynamo 追踪
  • 图中断
  • Guard
  • 重新编译
  • 动态形状
• 使用图断点
  • 使用 fullgraph=True 来识别和消除图断点
    • 策略 1：重写不支持的代码以使用 Dynamo 支持的功能
    • 策略 2：纯函数可以通过逃生舱口始终编译。
    • 策略 3：不编译代码
  • 常见图断点
    • 错误的代码
    • 数据依赖操作
    • 打印和日志记录
  • 使用 torch._dynamo.nonstrict_trace
  • 自定义算子
  • 使用 fullgraph=False
    • 在哪里应用 torch.compile？
      • compile(model) vs model.compile()
    • 禁用和抑制错误
    • 切换 error_on_graph_break
      • error_on_graph_break(False) 示例
      • error_on_graph_break(True) 示例
      • error_on_graph_break 嵌套行为
      • 与 fullgraph 的交互
      • fullgraph=True/False vs error_on_graph_break 总结
    • 嵌套图中断
    • 跳过的函数
      • 循环中的图中断
      • 上下文管理器中的图中断
      • Try 块中的图中断
      • 达到重新编译限制
      • 编译器错误
      • 处理跳过的函数
• 非严格追踪编程模型
  • 纯函数
    • 示例 1：无显式输入（例如，访问全局张量）
    • 示例 2：副作用（打印）
    • 示例 3：副作用（列表变异）
    • 无直接 data_ptr 操作
  • 特化和常量
• 处理重新编译
  • 动态形状是否启用？
  • 使用张量包装常量
  • 更改缓存大小限制
  • 通过图中断来降低重新编译成本
• tlparse / TORCH_TRACE
  • TORCH_LOGS
  • tlparse vs. TORCH_LOGS
• 报告问题
  • 消融
  • 二分法
  • 创建可复现示例