ShapeEnv#
- class torch.fx.experimental.symbolic_shapes.ShapeEnv(*, should_record_events=None, tracked_fakes=None, **kwargs)[source]#
- bind_symbols(placeholders, args)[source]#
给定符号化大小的占位符(fake tensors)和具有真实大小的具体参数(regular tensors)的成对列表,返回一个将每个符号映射到其真实值的字典。例如,如果一个占位符的大小为 (s0, s1),将其绑定到 (2, 4) 将得到 {s0: 2, s1: 4}。这不保证绑定 ShapeEnv 中的所有符号;如果一个符号不出现在任何占位符中,我们将无法绑定它,而已经有替代项的符号也不会被绑定。
这与 evaluate_guards 有些重复,但又足够不同,因此创建另一个副本似乎是最清晰的做法。这假设 guards 已经检查过,但如果开销很小,我们会检查是否存在意外情况。
- bound_sympy(expr, size_oblivious=False)[source]#
给定一个 sympy 表达式,计算它可以取值的 ValueRanges 边界。
- 返回类型
ValueRanges
- create_symbol(val, source, dynamic_dim=DimDynamic.DUCK, constraint_dim=None, positive=True, do_not_specialize_zero_one=False, symbolic_context=None)[source]#
创建由此 ShapeEnv 跟踪的新符号。
- 返回类型
Expr
- create_symbolic_sizes_strides_storage_offset(ex, source, *, symbolic_context=None)[source]#
为给定的张量返回符号化的尺寸和步幅列表。我们尽力用尺寸来表示步幅,以免引入新的符号变量。
- create_symintnode(sym, *, hint, source=None)[source]#
从符号表达式创建 SymInt 值。
如果您知道要创建的 SymInt 的当前提示值,请将其传递给 hint。否则,请传递 None,我们将尽最大努力进行猜测。
- 返回类型
IntLikeType
- create_unspecified_symbol(val, source, dynamic_dim=DimDynamic.DUCK, constraint_dim=None, symbolic_context=None)[source]#
创建具有不确定值的符号。
与标准符号相比,我们不假定值为正,也不针对零或一值进行专门化。
- 返回类型
Expr
- create_unspecified_symint_and_symbol(value, source, dynamic_dim)[source]#
创建包装新不确定符号的 SymInt。
- 返回类型
IntLikeType
- evaluate_expr(orig_expr, hint=None, fx_node=None, size_oblivious=False, fallback_value=None, *, forcing_spec=False)[source]#
给定一个表达式,对其进行求值,并在必要时添加 guard。当 fallback_value 不为 None 时,函数将返回 fallback_value 而不是因数据依赖而失败。
- 返回类型
Basic
- evaluate_guards_expression(code, args)[source]#
预期与 produce_guards_expression() 一起使用。为给定的具体参数求值由 produce_guards_expression() 生成的表达式。
- 返回类型
- evaluate_guards_for_args(placeholders, args, *, ignore_static=True)[source]#
为图的占位符值生成 guards 并使用 args 对 guards 进行求值。
- 返回类型
- evaluate_sym_node(sym_node, size_oblivious=False, fallback_value=None)[source]#
给定一个 SymNode,对其 expr 进行求值,并在必要时添加 guards。
- 返回类型
Basic
- format_guards(verbose=False)[source]#
根据可选的 traceback 信息格式化此 shape env 的 guard 表达式(如果 verbose 为 True)。
- 返回类型
- freeze_runtime_asserts()[source]#
冻结此 ShapeEnv 以停止添加延迟的运行时断言。
如果您尝试安装新的运行时断言,当它被冻结时,我们将报错。这可能表示一个 lowering 违规,或者可能是我们静态已知为 True 但以一种无法清楚证明的方式再次检查它的情况。
- get_axioms(symbols=None, compute_hint=False)[source]#
给定表达式中的符号,它会返回所有与这些符号相关的运行时断言,并与所有 guards 连接。如果 symbols 为 None,则返回所有运行时断言(以及所有 guards)。
- 返回类型
tuple[‘sympy.logic.boolalg.Boolean’, …]
- get_nontrivial_guards()[source]#
返回一组不被静态已知的 guard 表达式(即非平凡的)。
- 返回类型
list[‘sympy.logic.boolalg.Boolean’]
- get_pruned_guards(symints)[source]#
获取 guards 列表,但进行了修剪,使其仅提供引用传入的 symints 的 guards。
- 返回类型
list[torch._guards.ShapeGuard]
- guard_or_defer_runtime_assert(orig_expr, msg, fx_node=None)[source]#
在可以的情况下,添加一个 guard 使 orig_expr 为 True,或者回退到添加一个在运行时检查的 assert。
- 参数
orig_expr (sympy.Expr) – 断言为真的布尔表达式
msg (str) – 在断言失败时显示的错误消息
fx_node (Optional, torch.fx.Node) – `self.graph` 中与表达式对应的节点,如果适用。
- 返回类型
- patch_source_specialization(source, check_fn)[source]#
暂时向 ShapeEnv 添加符号级别的公理。这在您希望“分叉”并拥有并行 ShapeEnvs 时很有用。例如,我们在进行多图编译时使用它,以便支持具有不同专业化级别的各种图。
此上下文管理器允许根据应用于与源关联的符号的专业化函数,暂时向 shape 环境添加约束。
- produce_guards(*args, **kwargs)[source]#
类似于 produce_guards_verbose,但仅返回非 verbose 的 Python guard 表达式(不生成 verbose guards)。
- produce_guards_expression(placeholders, *, guards=None, ignore_static=True)[source]#
预期与 evaluate_guards_expression() 一起使用。为给定的占位符生成 guards,并返回一个字符串表达式,该表达式将由 evaluate_guards_expression() 使用占位符的具体值进行求值。
- 返回类型
Optional[str]
- produce_guards_verbose(placeholders, sources, source_ref=<function ShapeEnv.<lambda>>, *, guards=None, input_contexts=None, equalities_inputs=None, _simplified=False, ignore_static=True, langs=('python', 'verbose_python'))[source]#
生成 guards 字符串列表,当在定义了所有源的张量的上下文中进行求值时,根据 guards 列表是否为 True 来返回 True 或 False。主要由 Dynamo 使用,但这也对 guards 的手动测试很有帮助(请参阅 evaluate_guards_for_args)。
为了方便测试,源可以是一个 str,在这种情况下,我们假设它是一个 LocalSource。
simplified 允许您省略 duck sizing、equality 和 0/1 guards。这在您不关心样板 guards 的测试中很有用,并且可能也有助于用户输出(但要小心;一些 equality guards 是 nontrivial 的!如果 simplified 输出也能打印它们会很好)。它是私有的,因为它不用于正常使用。
默认返回 python guards 和带 verbose 注释的 python guards(verbose)。
- 返回类型
list[_ShapeGuardsHelper]