评价此页

概率分布 - torch.distributions#

创建于:2017年10月19日 | 最后更新于:2025年6月13日

distributions 包包含可参数化的概率分布和采样函数。这允许构建随机计算图和随机梯度估计器用于优化。此包通常遵循 TensorFlow Distributions 包的设计。

无法直接通过随机样本进行反向传播。但是,有两种主要方法可以创建可反向传播的替代函数。它们是分数函数估计器/似然比估计器/REINFORCE 和路径导数估计器。REINFORCE 通常被视为强化学习中策略梯度方法的基础,而路径导数估计器常见于变分自编码器中的重参数化技巧。分数函数只需要样本的值 f(x)f(x),而路径导数需要导数 f(x)f'(x)。接下来的章节将通过强化学习示例讨论这两种方法。更多详情请参阅 使用随机计算图进行梯度估计

分数函数#

当概率密度函数相对于其参数可微时,我们只需要 sample()log_prob() 来实现 REINFORCE

Δθ=αrlogp(aπθ(s))θ\Delta\theta = \alpha r \frac{\partial\log p(a|\pi^\theta(s))}{\partial\theta}

其中 θ\theta 是参数,α\alpha 是学习率,rr 是奖励,p(aπθ(s))p(a|\pi^\theta(s)) 是在给定策略 πθ\pi^\theta 的状态 ss 中采取动作 aa 的概率。

在实践中,我们将从网络输出中采样一个动作,在环境中应用该动作,然后使用 log_prob 来构建等效的损失函数。请注意,我们使用负号,因为优化器使用梯度下降,而上述规则假定梯度上升。对于分类策略,实现 REINFORCE 的代码如下所示

probs = policy_network(state)
# Note that this is equivalent to what used to be called multinomial
m = Categorical(probs)
action = m.sample()
next_state, reward = env.step(action)
loss = -m.log_prob(action) * reward
loss.backward()

路径导数#

实现这些随机/策略梯度的另一种方法是使用 rsample() 方法中的重参数化技巧,其中参数化随机变量可以通过无参数随机变量的参数化确定性函数来构建。因此,重参数化样本变得可微。实现路径导数的代码如下所示

params = policy_network(state)
m = Normal(*params)
# Any distribution with .has_rsample == True could work based on the application
action = m.rsample()
next_state, reward = env.step(action)  # Assuming that reward is differentiable
loss = -reward
loss.backward()

分布#

class torch.distributions.distribution.Distribution(batch_shape=torch.Size([]), event_shape=torch.Size([]), validate_args=None)[source]#

基类:object

Distribution 是概率分布的抽象基类。

参数
  • batch_shape (torch.Size) – 参数批处理的形状。

  • event_shape (torch.Size) – 单个样本的形状(不进行批处理)。

  • validate_args (bool, optional) – 是否验证参数。默认值:None。

property arg_constraints: dict[str, torch.distributions.constraints.Constraint]#

返回一个字典,其中包含从参数名称到应满足此分布的每个参数的 Constraint 对象的映射。非张量参数无需出现在此字典中。

property batch_shape: Size#

返回参数批处理的形状。

cdf(value)[source]#

返回在 value 处评估的累积密度/质量函数。

参数

value (Tensor) –

返回类型

张量

entropy()[source]#

返回分布的熵,在 batch_shape 上批处理。

返回

形状为 batch_shape 的张量。

返回类型

张量

enumerate_support(expand=True)[source]#

返回包含离散分布支持的所有值的张量。结果将沿维度 0 枚举,因此结果的形状将是 (cardinality,) + batch_shape + event_shape(对于单变量分布,event_shape = ())。

请注意,这会同步枚举所有批处理张量 [[0, 0], [1, 1], …]。使用 expand=False 时,枚举沿 dim 0 发生,但其余批处理维度是单例维度,[[0], [1], ..

要遍历完整的笛卡尔积,请使用 itertools.product(m.enumerate_support())

参数

expand (bool) – 是否将支持扩展到批处理维度以匹配分布的 batch_shape

返回

沿维度 0 迭代的张量。

返回类型

张量

property event_shape: Size#

返回单个样本的形状(不进行批处理)。

expand(batch_shape, _instance=None)[source]#

返回一个新的分布实例(或填充由派生类提供的现有实例),其中批处理维度扩展到 batch_shape。此方法在分布参数上调用 expand。因此,这不会为扩展的分布实例分配新内存。此外,在首次创建实例时,这不会重复任何参数检查或 __init__.py 中的参数广播。

参数
  • batch_shape (torch.Size) – 所需的扩展大小。

  • _instance – 需要覆盖 .expand 的子类提供的新实例。

返回

批处理维度扩展到 batch_size 的新分布实例。

icdf(value)[source]#

返回在 value 处评估的逆累积密度/质量函数。

参数

value (Tensor) –

返回类型

张量

log_prob(value)[source]#

返回在 value 处评估的概率密度/质量函数的对数。

参数

value (Tensor) –

返回类型

张量

property mean: Tensor#

返回分布的均值。

property mode: Tensor#

返回分布的众数。

perplexity()[source]#

返回分布的困惑度,在 batch_shape 上批处理。

返回

形状为 batch_shape 的张量。

返回类型

张量

rsample(sample_shape=torch.Size([]))[source]#

生成 sample_shape 形状的重参数化样本,如果分布参数是批处理的,则生成 sample_shape 形状的重参数化样本批次。

返回类型

张量

sample(sample_shape=torch.Size([]))[source]#

生成 sample_shape 形状的样本,如果分布参数是批处理的,则生成 sample_shape 形状的样本批次。

返回类型

张量

sample_n(n)[source]#

如果分布参数是批处理的,则生成 n 个样本或 n 个样本批次。

返回类型

张量

static set_default_validate_args(value)[source]#

设置是否启用或禁用验证。

默认行为模仿 Python 的 assert 语句:默认情况下启用验证,但如果 Python 在优化模式下运行(通过 python -O),则禁用验证。验证可能很昂贵,因此模型正常工作后,您可能希望禁用它。

参数

value (bool) – 是否启用验证。

property stddev: Tensor#

返回分布的标准差。

property support: Optional[Constraint]#

返回表示此分布支持的 Constraint 对象。

property variance: Tensor#

返回分布的方差。

指数族#

class torch.distributions.exp_family.ExponentialFamily(batch_shape=torch.Size([]), event_shape=torch.Size([]), validate_args=None)[source]#

基类:Distribution

ExponentialFamily 是属于指数族的概率分布的抽象基类,其概率质量/密度函数形式如下

pF(x;θ)=exp(t(x),θF(θ)+k(x))p_{F}(x; \theta) = \exp(\langle t(x), \theta\rangle - F(\theta) + k(x))

其中 θ\theta 表示自然参数,t(x)t(x) 表示充分统计量,F(θ)F(\theta) 是给定族群的对数归一化函数,k(x)k(x) 是载体度量。

注意

此类别是 Distribution 类和属于指数族的分布之间的中间类,主要用于检查 .entropy() 和解析 KL 散度方法的正确性。我们使用此类别通过 AD 框架和 Bregman 散度计算熵和 KL 散度(鸣谢:Frank Nielsen 和 Richard Nock,指数族的熵和交叉熵)。

entropy()[source]#

使用对数归一化函数的 Bregman 散度计算熵的方法。

伯努利#

class torch.distributions.bernoulli.Bernoulli(probs=None, logits=None, validate_args=None)[source]#

基类:ExponentialFamily

创建由 probslogits(但不能同时使用两者)参数化的伯努利分布。

样本是二进制(0 或 1)。它们以概率 p 取值 1,以概率 1 - p 取值 0

示例

>>> m = Bernoulli(torch.tensor([0.3]))
>>> m.sample()  # 30% chance 1; 70% chance 0
tensor([ 0.])
参数
  • probs (Number, Tensor) – 采样 1 的概率

  • logits (Number, Tensor) – 采样 1 的对数赔率

  • validate_args (bool, optional) – 是否验证参数,默认为 None

arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
entropy()[source]#
enumerate_support(expand=True)[source]#
expand(batch_shape, _instance=None)[source]#
has_enumerate_support = True#
log_prob(value)[source]#
property logits: Tensor#
property mean: Tensor#
property mode: Tensor#
property param_shape: Size#
property probs: Tensor#
sample(sample_shape=torch.Size([]))[source]#
support = Boolean()#
property variance: Tensor#

Beta#

class torch.distributions.beta.Beta(concentration1, concentration0, validate_args=None)[source]#

基类:ExponentialFamily

concentration1concentration0 参数化的 Beta 分布。

示例

>>> m = Beta(torch.tensor([0.5]), torch.tensor([0.5]))
>>> m.sample()  # Beta distributed with concentration concentration1 and concentration0
tensor([ 0.1046])
参数
  • concentration1 (floatTensor) – 分布的第一个集中参数(通常称为 alpha)

  • concentration0 (floatTensor) – 分布的第二个集中参数(通常称为 beta)

arg_constraints = {'concentration0': GreaterThan(lower_bound=0.0), 'concentration1': GreaterThan(lower_bound=0.0)}#
property concentration0: Tensor#
property concentration1: Tensor#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
rsample(sample_shape=())[source]#
返回类型

张量

support = Interval(lower_bound=0.0, upper_bound=1.0)#
property variance: Tensor#

二项式#

class torch.distributions.binomial.Binomial(total_count=1, probs=None, logits=None, validate_args=None)[source]#

基类:Distribution

创建由 total_countprobslogits(但不能同时使用两者)参数化的二项式分布。total_count 必须能够与 probs/logits 广播。

示例

>>> m = Binomial(100, torch.tensor([0 , .2, .8, 1]))
>>> x = m.sample()
tensor([   0.,   22.,   71.,  100.])

>>> m = Binomial(torch.tensor([[5.], [10.]]), torch.tensor([0.5, 0.8]))
>>> x = m.sample()
tensor([[ 4.,  5.],
        [ 7.,  6.]])
参数
  • total_count (intTensor) – 伯努利试验的次数

  • probs (Tensor) – 事件概率

  • logits (Tensor) – 事件对数赔率

arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0), 'total_count': IntegerGreaterThan(lower_bound=0)}#
entropy()[source]#
enumerate_support(expand=True)[source]#
expand(batch_shape, _instance=None)[source]#
has_enumerate_support = True#
log_prob(value)[source]#
property logits: Tensor#
property mean: Tensor#
property mode: Tensor#
property param_shape: Size#
property probs: Tensor#
sample(sample_shape=torch.Size([]))[source]#
property support#
返回类型

_DependentProperty

property variance: Tensor#

分类#

class torch.distributions.categorical.Categorical(probs=None, logits=None, validate_args=None)[source]#

基类:Distribution

创建由 probslogits(但不能同时使用两者)参数化的分类分布。

注意

它等同于 torch.multinomial() 采样的分布。

样本是整数,范围从 {0,,K1}\{0, \ldots, K-1\},其中 Kprobs.size(-1)

如果 probs 是长度为 K 的一维张量,则每个元素是采样该索引处类别的相对概率。

如果 probs 是 N 维张量,则前 N-1 个维度被视为相对概率向量的批次。

注意

probs 参数必须是非负、有限且非零和,并且它将沿最后一个维度归一化为和为 1。probs 将返回此归一化值。logits 参数将解释为未归一化的对数概率,因此可以是任何实数。它同样将归一化,使得结果概率沿最后一个维度和为 1。logits 将返回此归一化值。

另请参阅:torch.multinomial()

示例

>>> m = Categorical(torch.tensor([ 0.25, 0.25, 0.25, 0.25 ]))
>>> m.sample()  # equal probability of 0, 1, 2, 3
tensor(3)
参数
  • probs (Tensor) – 事件概率

  • logits (Tensor) – 事件对数概率(未归一化)

arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
entropy()[source]#
enumerate_support(expand=True)[source]#
expand(batch_shape, _instance=None)[source]#
has_enumerate_support = True#
log_prob(value)[source]#
property logits: Tensor#
property mean: Tensor#
property mode: Tensor#
property param_shape: Size#
property probs: Tensor#
sample(sample_shape=torch.Size([]))[source]#
property support#
返回类型

_DependentProperty

property variance: Tensor#

柯西#

class torch.distributions.cauchy.Cauchy(loc, scale, validate_args=None)[source]#

基类:Distribution

从柯西(洛伦兹)分布中采样。两个独立的均值为 0 的正态分布随机变量之比的分布遵循柯西分布。

示例

>>> m = Cauchy(torch.tensor([0.0]), torch.tensor([1.0]))
>>> m.sample()  # sample from a Cauchy distribution with loc=0 and scale=1
tensor([ 2.3214])
参数
  • loc (floatTensor) – 分布的众数或中位数。

  • scale (floatTensor) – 半高处的半宽度。

arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(value)[source]#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

support = Real()#
属性 variance: Tensor#

Chi2#

class torch.distributions.chi2.Chi2(df, validate_args=None)[source]#

基类:Gamma

创建一个卡方分布,由形状参数 df 参数化。这完全等同于 Gamma(alpha=0.5*df, beta=0.5)

示例

>>> m = Chi2(torch.tensor([1.0]))
>>> m.sample()  # Chi2 distributed with shape df=1
tensor([ 0.1046])
参数

df (floatTensor) – 分布的形状参数

arg_constraints = {'df': GreaterThan(lower_bound=0.0)}#
属性 df: Tensor#
expand(batch_shape, _instance=None)[source]#

ContinuousBernoulli#

class torch.distributions.continuous_bernoulli.ContinuousBernoulli(probs=None, logits=None, lims=(0.499, 0.501), validate_args=None)[source]#

基类:ExponentialFamily

创建一个连续伯努利分布,由 probslogits 参数化(但不能同时使用两者)。

该分布在 [0, 1] 范围内支持,并通过 'probs'(在 (0,1) 中)或 'logits'(实值)参数化。请注意,与伯努利分布不同,'probs' 不对应于概率,'logits' 不对应于对数几率,但由于与伯努利分布的相似性而使用相同的名称。有关更多详细信息,请参阅 [1]。

示例

>>> m = ContinuousBernoulli(torch.tensor([0.3]))
>>> m.sample()
tensor([ 0.2538])
参数
  • probs (Number, Tensor) – (0,1) 值参数

  • logits (Number, Tensor) – 其 Sigmoid 与 'probs' 匹配的实值参数

[1] The continuous Bernoulli: fixing a pervasive error in variational autoencoders, Loaiza-Ganem G and Cunningham JP, NeurIPS 2019. https://arxiv.org/abs/1907.06845

arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(value)[source]#
log_prob(value)[source]#
属性 logits: Tensor#
属性 mean: Tensor#
属性 param_shape: Size#
属性 probs: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

sample(sample_shape=torch.Size([]))[source]#
属性 stddev: Tensor#
support = Interval(lower_bound=0.0, upper_bound=1.0)#
属性 variance: Tensor#

Dirichlet#

class torch.distributions.dirichlet.Dirichlet(concentration, validate_args=None)[source]#

基类:ExponentialFamily

创建由集中度 concentration 参数化的狄利克雷分布。

示例

>>> m = Dirichlet(torch.tensor([0.5, 0.5]))
>>> m.sample()  # Dirichlet distributed with concentration [0.5, 0.5]
tensor([ 0.1046,  0.8954])
参数

concentration (Tensor) – 分布的集中度参数(通常称为 alpha)

arg_constraints = {'concentration': IndependentConstraint(GreaterThan(lower_bound=0.0), 1)}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
rsample(sample_shape=())[source]#
返回类型

张量

support = Simplex()#
属性 variance: Tensor#

Exponential#

class torch.distributions.exponential.Exponential(rate, validate_args=None)[source]#

基类:ExponentialFamily

创建一个指数分布,由 rate 参数化。

示例

>>> m = Exponential(torch.tensor([1.0]))
>>> m.sample()  # Exponential distributed with rate=1
tensor([ 0.1046])
参数

rate (floatTensor) – 分布的速率 = 1 / 尺度

arg_constraints = {'rate': GreaterThan(lower_bound=0.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(value)[source]#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

属性 stddev: Tensor#
support = GreaterThanEq(lower_bound=0.0)#
属性 variance: Tensor#

FisherSnedecor#

class torch.distributions.fishersnedecor.FisherSnedecor(df1, df2, validate_args=None)[source]#

基类:Distribution

创建一个 Fisher-Snedecor 分布,由 df1df2 参数化。

示例

>>> m = FisherSnedecor(torch.tensor([1.0]), torch.tensor([2.0]))
>>> m.sample()  # Fisher-Snedecor-distributed with df1=1 and df2=2
tensor([ 0.2453])
参数
arg_constraints = {'df1': GreaterThan(lower_bound=0.0), 'df2': GreaterThan(lower_bound=0.0)}#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

support = GreaterThan(lower_bound=0.0)#
属性 variance: Tensor#

Gamma#

class torch.distributions.gamma.Gamma(concentration, rate, validate_args=None)[source]#

基类:ExponentialFamily

创建一个伽马分布,由形状 concentrationrate 参数化。

示例

>>> m = Gamma(torch.tensor([1.0]), torch.tensor([1.0]))
>>> m.sample()  # Gamma distributed with concentration=1 and rate=1
tensor([ 0.1046])
参数
  • concentration (floatTensor) – 分布的形状参数(通常称为 alpha)

  • rate (floatTensor) – 分布的速率参数(通常称为 beta),速率 = 1 / 尺度

arg_constraints = {'concentration': GreaterThan(lower_bound=0.0), 'rate': GreaterThan(lower_bound=0.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

support = GreaterThanEq(lower_bound=0.0)#
属性 variance: Tensor#

GeneralizedPareto#

class torch.distributions.generalized_pareto.GeneralizedPareto(loc, scale, concentration, validate_args=None)[source]#

基类:Distribution

创建一个广义帕累托分布,由 locscaleconcentration 参数化。

广义帕累托分布是实线上一系列连续概率分布。特殊情况包括指数分布(当 loc = 0,concentration = 0 时)、帕累托分布(当 concentration > 0,loc = scale / concentration 时)和均匀分布(当 concentration = -1 时)。

此分布通常用于模拟其他分布的尾部。此实现基于 TensorFlow Probability 中的实现。

示例

>>> m = GeneralizedPareto(torch.tensor([0.1]), torch.tensor([2.0]), torch.tensor([0.4]))
>>> m.sample()  # sample from a Generalized Pareto distribution with loc=0.1, scale=2.0, and concentration=0.4
tensor([ 1.5623])
参数
arg_constraints = {'concentration': Real(), 'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(value)[source]#
log_cdf(value)[source]#
log_prob(value)[source]#
log_survival_function(value)[source]#
属性 mean#
属性 mode#
rsample(sample_shape=torch.Size([]))[source]#
属性 support#
返回类型

_DependentProperty

属性 variance#

Geometric#

class torch.distributions.geometric.Geometric(probs=None, logits=None, validate_args=None)[source]#

基类:Distribution

创建一个几何分布,由 probs 参数化,其中 probs 是伯努利试验的成功概率。

P(X=k)=(1p)kp,k=0,1,...P(X=k) = (1-p)^{k} p, k = 0, 1, ...

注意

torch.distributions.geometric.Geometric() (k+1)(k+1)-th 试验是第一次成功,因此从 {0,1,}\{0, 1, \ldots\} 中抽取样本,而 torch.Tensor.geometric_()k 次试验是第一次成功,因此从 {1,2,}\{1, 2, \ldots\} 中抽取样本。

示例

>>> m = Geometric(torch.tensor([0.3]))
>>> m.sample()  # underlying Bernoulli has 30% chance 1; 70% chance 0
tensor([ 2.])
参数
  • probs (Number, Tensor) – 采样 1 的概率。必须在 (0, 1] 范围内

  • logits (Number, Tensor) – 采样 1 的对数几率。

arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
log_prob(value)[source]#
属性 logits: Tensor#
属性 mean: Tensor#
属性 mode: Tensor#
属性 probs: Tensor#
sample(sample_shape=torch.Size([]))[source]#
support = IntegerGreaterThan(lower_bound=0)#
属性 variance: Tensor#

Gumbel#

class torch.distributions.gumbel.Gumbel(loc, scale, validate_args=None)[source]#

基类:TransformedDistribution

从 Gumbel 分布中采样。

示例

>>> m = Gumbel(torch.tensor([1.0]), torch.tensor([2.0]))
>>> m.sample()  # sample from Gumbel distribution with loc=1, scale=2
tensor([ 1.0124])
参数
arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
属性 stddev: Tensor#
support = Real()#
属性 variance: Tensor#

HalfCauchy#

class torch.distributions.half_cauchy.HalfCauchy(scale, validate_args=None)[source]#

基类:TransformedDistribution

创建一个由 scale 参数化的半柯西分布,其中

X ~ Cauchy(0, scale)
Y = |X| ~ HalfCauchy(scale)

示例

>>> m = HalfCauchy(torch.tensor([1.0]))
>>> m.sample()  # half-cauchy distributed with scale=1
tensor([ 2.3214])
参数

scale (floatTensor) – 完整柯西分布的尺度

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'scale': GreaterThan(lower_bound=0.0)}#
base_dist: Cauchy#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(prob)[source]#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
属性 scale: Tensor#
support = GreaterThanEq(lower_bound=0.0)#
属性 variance: Tensor#

HalfNormal#

class torch.distributions.half_normal.HalfNormal(scale, validate_args=None)[source]#

基类:TransformedDistribution

创建一个半正态分布,由 scale 参数化,其中

X ~ Normal(0, scale)
Y = |X| ~ HalfNormal(scale)

示例

>>> m = HalfNormal(torch.tensor([1.0]))
>>> m.sample()  # half-normal distributed with scale=1
tensor([ 0.1046])
参数

scale (floatTensor) – 完整正态分布的尺度

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'scale': GreaterThan(lower_bound=0.0)}#
base_dist: Normal#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(prob)[source]#
log_prob(value)[source]#
属性 mean: Tensor#
属性 mode: Tensor#
属性 scale: Tensor#
support = GreaterThanEq(lower_bound=0.0)#
属性 variance: Tensor#

Independent#

class torch.distributions.independent.Independent(base_distribution, reinterpreted_batch_ndims, validate_args=None)[source]#

基类:DistributionGeneric[D]

将分布的一些批处理维度重新解释为事件维度。

这主要用于改变 log_prob() 的结果形状。例如,为了创建与多元正态分布形状相同的对角正态分布(以便它们可以互换),您可以

>>> from torch.distributions.multivariate_normal import MultivariateNormal
>>> from torch.distributions.normal import Normal
>>> loc = torch.zeros(3)
>>> scale = torch.ones(3)
>>> mvn = MultivariateNormal(loc, scale_tril=torch.diag(scale))
>>> [mvn.batch_shape, mvn.event_shape]
[torch.Size([]), torch.Size([3])]
>>> normal = Normal(loc, scale)
>>> [normal.batch_shape, normal.event_shape]
[torch.Size([3]), torch.Size([])]
>>> diagn = Independent(normal, 1)
>>> [diagn.batch_shape, diagn.event_shape]
[torch.Size([]), torch.Size([3])]
参数
arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
base_dist: D#
entropy()[source]#
enumerate_support(expand=True)[source]#
expand(batch_shape, _instance=None)[source]#
property has_enumerate_support: bool#
property has_rsample: bool#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

sample(sample_shape=torch.Size([]))[source]#
返回类型

张量

property support#
返回类型

_DependentProperty

property variance: Tensor#

InverseGamma#

class torch.distributions.inverse_gamma.InverseGamma(concentration, rate, validate_args=None)[source]#

基类:TransformedDistribution

创建由 concentrationrate 参数化的逆伽马分布,其中

X ~ Gamma(concentration, rate)
Y = 1 / X ~ InverseGamma(concentration, rate)

示例

>>> m = InverseGamma(torch.tensor([2.0]), torch.tensor([3.0]))
>>> m.sample()
tensor([ 1.2953])
参数
  • concentration (floatTensor) – 分布的形状参数(通常称为 alpha)

  • rate (floatTensor) – 分布的速率 = 1 / 尺度(通常称为 beta)

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration': GreaterThan(lower_bound=0.0), 'rate': GreaterThan(lower_bound=0.0)}#
base_dist: Gamma#
property concentration: Tensor#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
property mean: Tensor#
property mode: Tensor#
property rate: Tensor#
support = GreaterThan(lower_bound=0.0)#
property variance: Tensor#

Kumaraswamy#

class torch.distributions.kumaraswamy.Kumaraswamy(concentration1, concentration0, validate_args=None)[source]#

基类:TransformedDistribution

从库马拉斯瓦米分布中采样。

示例

>>> m = Kumaraswamy(torch.tensor([1.0]), torch.tensor([1.0]))
>>> m.sample()  # sample from a Kumaraswamy distribution with concentration alpha=1 and beta=1
tensor([ 0.1729])
参数
  • concentration1 (floatTensor) – 分布的第一个集中参数(通常称为 alpha)

  • concentration0 (floatTensor) – 分布的第二个集中参数(通常称为 beta)

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration0': GreaterThan(lower_bound=0.0), 'concentration1': GreaterThan(lower_bound=0.0)}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
property mean: Tensor#
property mode: Tensor#
support = Interval(lower_bound=0.0, upper_bound=1.0)#
property variance: Tensor#

LKJCholesky#

class torch.distributions.lkj_cholesky.LKJCholesky(dim, concentration=1.0, validate_args=None)[source]#

基类:Distribution

用于相关矩阵的下三角Cholesky因子的LKJ分布。该分布由 concentration 参数 η\eta 控制,使得从Cholesky因子生成的相关矩阵 MM 的概率与 det(M)η1\det(M)^{\eta - 1} 成比例。因此,当 concentration == 1 时,我们对相关矩阵的Cholesky因子进行均匀分布采样。

L ~ LKJCholesky(dim, concentration)
X = L @ L' ~ LKJCorr(dim, concentration)

请注意,此分布采样的是相关矩阵的Cholesky因子,而不是相关矩阵本身,因此与[1]中关于 LKJCorr 分布的推导略有不同。对于采样,这使用了[1]第3节中的洋葱方法。

示例

>>> l = LKJCholesky(3, 0.5)
>>> l.sample()  # l @ l.T is a sample of a correlation 3x3 matrix
tensor([[ 1.0000,  0.0000,  0.0000],
        [ 0.3516,  0.9361,  0.0000],
        [-0.1899,  0.4748,  0.8593]])
参数
  • dimension (dim) – 矩阵的维度

  • concentration (floatTensor) – 分布的集中度/形状参数(通常称为 eta)

参考文献

[1] Generating random correlation matrices based on vines and extended onion method (2009), Daniel Lewandowski, Dorota Kurowicka, Harry Joe. Journal of Multivariate Analysis. 100. 10.1016/j.jmva.2009.04.008

arg_constraints = {'concentration': GreaterThan(lower_bound=0.0)}#
expand(batch_shape, _instance=None)[source]#
log_prob(value)[source]#
sample(sample_shape=torch.Size([]))[source]#
support = CorrCholesky()#

Laplace#

class torch.distributions.laplace.Laplace(loc, scale, validate_args=None)[source]#

基类:Distribution

创建一个由 locscale 参数化的拉普拉斯分布。

示例

>>> m = Laplace(torch.tensor([0.0]), torch.tensor([1.0]))
>>> m.sample()  # Laplace distributed with loc=0, scale=1
tensor([ 0.1046])
参数
arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
cdf(value)[source]#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
icdf(value)[source]#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

property stddev: Tensor#
support = Real()#
property variance: Tensor#

LogNormal#

class torch.distributions.log_normal.LogNormal(loc, scale, validate_args=None)[source]#

基类:TransformedDistribution

创建由 locscale 参数化的对数正态分布,其中

X ~ Normal(loc, scale)
Y = exp(X) ~ LogNormal(loc, scale)

示例

>>> m = LogNormal(torch.tensor([0.0]), torch.tensor([1.0]))
>>> m.sample()  # log-normal distributed with mean=0 and stddev=1
tensor([ 0.1046])
参数
arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
base_dist: Normal#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
property loc: Tensor#
property mean: Tensor#
property mode: Tensor#
property scale: Tensor#
support = GreaterThan(lower_bound=0.0)#
property variance: Tensor#

LowRankMultivariateNormal#

class torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag, validate_args=None)[source]#

基类:Distribution

创建具有低秩协方差矩阵的多元正态分布,该矩阵由 cov_factorcov_diag 参数化

covariance_matrix = cov_factor @ cov_factor.T + cov_diag

示例

>>> m = LowRankMultivariateNormal(
...     torch.zeros(2), torch.tensor([[1.0], [0.0]]), torch.ones(2)
... )
>>> m.sample()  # normally distributed with mean=`[0,0]`, cov_factor=`[[1],[0]]`, cov_diag=`[1,1]`
tensor([-0.2102, -0.5429])
参数
  • loc (Tensor) – 分布的均值,形状为 batch_shape + event_shape

  • cov_factor (Tensor) – 协方差矩阵低秩形式的因子部分,形状为 batch_shape + event_shape + (rank,)

  • cov_diag (Tensor) – 协方差矩阵低秩形式的对角线部分,形状为 batch_shape + event_shape

注意

cov_factor.shape[1] << cov_factor.shape[0] 时,借助 Woodbury矩阵恒等式矩阵行列式引理,避免了协方差矩阵行列式和逆矩阵的计算。由于这些公式,我们只需要计算小尺寸“电容”矩阵的行列式和逆矩阵

capacitance = I + cov_factor.T @ inv(cov_diag) @ cov_factor
arg_constraints = {'cov_diag': IndependentConstraint(GreaterThan(lower_bound=0.0), 1), 'cov_factor': IndependentConstraint(Real(), 2), 'loc': IndependentConstraint(Real(), 1)}#
property covariance_matrix: Tensor#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
property precision_matrix: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

property scale_tril: Tensor#
support = IndependentConstraint(Real(), 1)#
property variance: Tensor#

MixtureSameFamily#

class torch.distributions.mixture_same_family.MixtureSameFamily(mixture_distribution, component_distribution, validate_args=None)[source]#

基类:Distribution

MixtureSameFamily 分布实现了一种(批处理)混合分布,其中所有组件都来自相同分布类型的不同参数化。它由一个 Categorical “选择分布”(在 k 个组件上)和一个组件分布(即,一个具有最右侧批形状(等于 [k])的 Distribution,它索引每个(批处理的)组件)进行参数化。

示例

>>> # Construct Gaussian Mixture Model in 1D consisting of 5 equally
>>> # weighted normal distributions
>>> mix = D.Categorical(torch.ones(5,))
>>> comp = D.Normal(torch.randn(5,), torch.rand(5,))
>>> gmm = MixtureSameFamily(mix, comp)

>>> # Construct Gaussian Mixture Model in 2D consisting of 5 equally
>>> # weighted bivariate normal distributions
>>> mix = D.Categorical(torch.ones(5,))
>>> comp = D.Independent(D.Normal(
...          torch.randn(5,2), torch.rand(5,2)), 1)
>>> gmm = MixtureSameFamily(mix, comp)

>>> # Construct a batch of 3 Gaussian Mixture Models in 2D each
>>> # consisting of 5 random weighted bivariate normal distributions
>>> mix = D.Categorical(torch.rand(3,5))
>>> comp = D.Independent(D.Normal(
...         torch.randn(3,5,2), torch.rand(3,5,2)), 1)
>>> gmm = MixtureSameFamily(mix, comp)
参数
  • mixture_distribution (Categorical) – torch.distributions.Categorical 类似实例。管理选择组件的概率。类别数必须与 component_distribution 的最右批处理维度匹配。必须具有标量 batch_shape 或与 component_distribution.batch_shape[:-1] 匹配的 batch_shape

  • component_distribution (Distribution) – torch.distributions.Distribution 类似实例。最右批处理维度索引组件。

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
cdf(x)[source]#
property component_distribution: Distribution#
expand(batch_shape, _instance=None)[source]#
has_rsample = False#
log_prob(x)[source]#
property mean: Tensor#
property mixture_distribution: Categorical#
sample(sample_shape=torch.Size([]))[source]#
property support#
返回类型

_DependentProperty

property variance: Tensor#

Multinomial#

class torch.distributions.multinomial.Multinomial(total_count=1, probs=None, logits=None, validate_args=None)[source]#

基类:Distribution

创建由 total_countprobslogits(但不能同时指定两者)参数化的多项式分布。 probs 的最内层维度索引类别。所有其他维度索引批次。

请注意,如果只调用 log_prob(),则无需指定 total_count(参见下面的示例)

注意

probs 参数必须是非负、有限且非零和的,并且它将在最后一个维度上归一化为和为1。 probs 将返回此归一化值。logits 参数将被解释为未归一化的对数概率,因此可以是任意实数。它同样会进行归一化,使得结果概率在最后一个维度上和为1。 logits 将返回此归一化值。

  • sample() 要求所有参数和样本共享一个 total_count

  • log_prob() 允许每个参数和样本有不同的 total_count

示例

>>> m = Multinomial(100, torch.tensor([ 1., 1., 1., 1.]))
>>> x = m.sample()  # equal probability of 0, 1, 2, 3
tensor([ 21.,  24.,  30.,  25.])

>>> Multinomial(probs=torch.tensor([1., 1., 1., 1.])).log_prob(x)
tensor([-4.1338])
参数
  • total_count (int) – 试验次数

  • probs (Tensor) – 事件概率

  • logits (Tensor) – 事件对数概率(未归一化)

arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
log_prob(value)[source]#
property logits: Tensor#
property mean: Tensor#
property param_shape: Size#
property probs: Tensor#
sample(sample_shape=torch.Size([]))[source]#
property support#
返回类型

_DependentProperty

total_count: int#
property variance: Tensor#

MultivariateNormal#

class torch.distributions.multivariate_normal.MultivariateNormal(loc, covariance_matrix=None, precision_matrix=None, scale_tril=None, validate_args=None)[source]#

基类:Distribution

创建由均值向量和协方差矩阵参数化的多元正态(也称为高斯)分布。

多元正态分布可以用正定协方差矩阵 Σ\mathbf{\Sigma} 或正定精度矩阵 Σ1\mathbf{\Sigma}^{-1} 或具有正值对角线元素的下三角矩阵 L\mathbf{L} 进行参数化,使得 Σ=LL\mathbf{\Sigma} = \mathbf{L}\mathbf{L}^\top。该三角矩阵可以通过例如协方差的乔列斯基分解获得。

示例

>>> m = MultivariateNormal(torch.zeros(2), torch.eye(2))
>>> m.sample()  # normally distributed with mean=`[0,0]` and covariance_matrix=`I`
tensor([-0.2102, -0.5429])
参数
  • loc (Tensor) – 分布的均值

  • covariance_matrix (Tensor) – 正定协方差矩阵

  • precision_matrix (Tensor) – 正定精度矩阵

  • scale_tril (Tensor) – 协方差的下三角因子,具有正值对角线

注意

covariance_matrixprecision_matrixscale_tril 中只能指定一个。

使用 scale_tril 将更有效:所有内部计算都基于 scale_tril。如果传递 covariance_matrixprecision_matrix,则仅用于通过乔列斯基分解计算相应的下三角矩阵。

arg_constraints = {'covariance_matrix': PositiveDefinite(), 'loc': IndependentConstraint(Real(), 1), 'precision_matrix': PositiveDefinite(), 'scale_tril': LowerCholesky()}#
property covariance_matrix: Tensor#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
property precision_matrix: Tensor#
rsample(sample_shape=torch.Size([]))[source]#
返回类型

张量

property scale_tril: Tensor#
support = IndependentConstraint(Real(), 1)#
property variance: Tensor#

NegativeBinomial#

class torch.distributions.negative_binomial.NegativeBinomial(total_count, probs=None, logits=None, validate_args=None)[source]#

基类:Distribution

创建负二项式分布,即在达到 total_count 次失败之前成功独立同分布伯努利试验的次数的分布。每个伯努利试验的成功概率是 probs

参数
  • total_count (floatTensor) – 停止的负伯努利试验的非负次数,尽管对于实值次数分布仍然有效

  • probs (Tensor) – 半开区间 [0, 1) 中的成功事件概率

  • logits (Tensor) – 成功概率的事件对数几率

arg_constraints = {'logits': Real(), 'probs': HalfOpenInterval(lower_bound=0.0, upper_bound=1.0), 'total_count': GreaterThanEq(lower_bound=0)}#
expand(batch_shape, _instance=None)[source]#
log_prob(value)[source]#
property logits: 张量#
property mean: 张量#
property mode: 张量#
property param_shape: 大小#
property probs: 张量#
sample(sample_shape=torch.Size([]))[源代码]#
support = IntegerGreaterThan(lower_bound=0)#
property variance: 张量#

正态分布#

class torch.distributions.normal.Normal(loc, scale, validate_args=None)[源代码]#

基类:ExponentialFamily

创建由 locscale 参数化的正态(也称为高斯)分布。

示例

>>> m = Normal(torch.tensor([0.0]), torch.tensor([1.0]))
>>> m.sample()  # normally distributed with loc=0 and scale=1
tensor([ 0.1046])
参数
  • loc (floatTensor) – 分布的均值(通常称为 mu)

  • scale (floatTensor) – 分布的标准差(通常称为 sigma)

arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
cdf(value)[源代码]#
entropy()[源代码]#
expand(batch_shape, _instance=None)[源代码]#
has_rsample = True#
icdf(value)[源代码]#
log_prob(value)[源代码]#
property mean: 张量#
property mode: 张量#
rsample(sample_shape=torch.Size([]))[源代码]#
返回类型

张量

sample(sample_shape=torch.Size([]))[源代码]#
property stddev: 张量#
support = Real()#
property variance: 张量#

OneHotCategorical#

class torch.distributions.one_hot_categorical.OneHotCategorical(probs=None, logits=None, validate_args=None)[源代码]#

基类:Distribution

创建由 probslogits 参数化的独热分类分布。

样本是大小为 probs.size(-1) 的独热编码向量。

注意

probs 参数必须是非负、有限且总和不为零的,并且将沿最后一个维度归一化为总和为 1。probs 将返回此归一化值。logits 参数将被解释为未归一化的对数概率,因此可以是任何实数。它也将被归一化,以便生成的概率沿最后一个维度总和为 1。logits 将返回此归一化值。

另请参阅:torch.distributions.Categorical() 以获取 probslogits 的规范。

示例

>>> m = OneHotCategorical(torch.tensor([ 0.25, 0.25, 0.25, 0.25 ]))
>>> m.sample()  # equal probability of 0, 1, 2, 3
tensor([ 0.,  0.,  0.,  1.])
参数
  • probs (Tensor) – 事件概率

  • logits (Tensor) – 事件对数概率(未归一化)

arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
entropy()[源代码]#
enumerate_support(expand=True)[源代码]#
expand(batch_shape, _instance=None)[源代码]#
has_enumerate_support = True#
log_prob(value)[源代码]#
property logits: 张量#
property mean: 张量#
property mode: 张量#
property param_shape: 大小#
property probs: 张量#
sample(sample_shape=torch.Size([]))[源代码]#
support = OneHot()#
property variance: 张量#

Pareto#

class torch.distributions.pareto.Pareto(scale, alpha, validate_args=None)[源代码]#

基类:TransformedDistribution

从帕累托 1 型分布中采样。

示例

>>> m = Pareto(torch.tensor([1.0]), torch.tensor([1.0]))
>>> m.sample()  # sample from a Pareto distribution with scale=1 and alpha=1
tensor([ 1.5623])
参数
arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'alpha': GreaterThan(lower_bound=0.0), 'scale': GreaterThan(lower_bound=0.0)}#
entropy()[源代码]#
返回类型

张量

expand(batch_shape, _instance=None)[源代码]#
返回类型

帕累托

property mean: 张量#
property mode: 张量#
property support: 约束#
返回类型

_DependentProperty

property variance: 张量#

泊松分布#

class torch.distributions.poisson.Poisson(rate, validate_args=None)[源代码]#

基类:ExponentialFamily

创建由速率参数 rate 参数化的泊松分布。

样本是非负整数,其 pmf 由以下给出

ratekeratek!\mathrm{rate}^k \frac{e^{-\mathrm{rate}}}{k!}

示例

>>> m = Poisson(torch.tensor([4]))
>>> m.sample()
tensor([ 3.])
参数

rate (数字, 张量) – 速率参数

arg_constraints = {'rate': GreaterThanEq(lower_bound=0.0)}#
expand(batch_shape, _instance=None)[源代码]#
log_prob(value)[源代码]#
property mean: 张量#
property mode: 张量#
sample(sample_shape=torch.Size([]))[源代码]#
support = IntegerGreaterThan(lower_bound=0)#
property variance: 张量#

RelaxedBernoulli#

class torch.distributions.relaxed_bernoulli.RelaxedBernoulli(temperature, probs=None, logits=None, validate_args=None)[源代码]#

基类:TransformedDistribution

创建松弛伯努利分布,由 temperatureprobslogits (但不能同时使用两者)参数化。这是 Bernoulli 分布的松弛版本,因此值在 (0, 1) 之间,并且具有可重参数化的样本。

示例

>>> m = RelaxedBernoulli(torch.tensor([2.2]),
...                      torch.tensor([0.1, 0.2, 0.3, 0.99]))
>>> m.sample()
tensor([ 0.2951,  0.3442,  0.8918,  0.9021])
参数
  • temperature (张量) – 松弛温度

  • probs (Number, Tensor) – 采样 1 的概率

  • logits (Number, Tensor) – 采样 1 的对数赔率

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
base_dist: LogitRelaxedBernoulli#
expand(batch_shape, _instance=None)[源代码]#
has_rsample = True#
property logits: 张量#
property probs: 张量#
support = Interval(lower_bound=0.0, upper_bound=1.0)#
property temperature: 张量#

LogitRelaxedBernoulli#

class torch.distributions.relaxed_bernoulli.LogitRelaxedBernoulli(temperature, probs=None, logits=None, validate_args=None)[源代码]#

基类:Distribution

创建由 probslogits(但不能同时使用两者)参数化的 LogitRelaxedBernoulli 分布,它是 RelaxedBernoulli 分布的 logit。

样本是 (0, 1) 中值的 logit。有关更多详细信息,请参阅 [1]。

参数
  • temperature (张量) – 松弛温度

  • probs (Number, Tensor) – 采样 1 的概率

  • logits (Number, Tensor) – 采样 1 的对数赔率

[1] The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables (Maddison et al., 2017)

[2] Categorical Reparametrization with Gumbel-Softmax (Jang et al., 2017)

arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
expand(batch_shape, _instance=None)[源代码]#
log_prob(value)[源代码]#
property logits: 张量#
property param_shape: 大小#
property probs: 张量#
rsample(sample_shape=torch.Size([]))[源代码]#
返回类型

张量

support = Real()#

RelaxedOneHotCategorical#

class torch.distributions.relaxed_categorical.RelaxedOneHotCategorical(temperature, probs=None, logits=None, validate_args=None)[源代码]#

基类:TransformedDistribution

创建由 temperatureprobslogits 参数化的 RelaxedOneHotCategorical 分布。这是 OneHotCategorical 分布的松弛版本,因此其样本位于单纯形上,并且是可重参数化的。

示例

>>> m = RelaxedOneHotCategorical(torch.tensor([2.2]),
...                              torch.tensor([0.1, 0.2, 0.3, 0.4]))
>>> m.sample()
tensor([ 0.1294,  0.2324,  0.3859,  0.2523])
参数
  • temperature (张量) – 松弛温度

  • probs (Tensor) – 事件概率

  • logits (张量) – 每个事件的未归一化对数概率

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
base_dist: ExpRelaxedCategorical#
expand(batch_shape, _instance=None)[源代码]#
has_rsample = True#
property logits: 张量#
property probs: 张量#
support = Simplex()#
property temperature: 张量#

学生 t 分布#

class torch.distributions.studentT.StudentT(df, loc=0.0, scale=1.0, validate_args=None)[源代码]#

基类:Distribution

创建由自由度 df、均值 loc 和尺度 scale 参数化的学生 t 分布。

示例

>>> m = StudentT(torch.tensor([2.0]))
>>> m.sample()  # Student's t-distributed with degrees of freedom=2
tensor([ 0.1046])
参数
arg_constraints = {'df': GreaterThan(lower_bound=0.0), 'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
entropy()[源代码]#
expand(batch_shape, _instance=None)[源代码]#
has_rsample = True#
log_prob(value)[源代码]#
property mean: 张量#
property mode: 张量#
rsample(sample_shape=torch.Size([]))[源代码]#
返回类型

张量

support = Real()#
property variance: 张量#

变换分布#

class torch.distributions.transformed_distribution.TransformedDistribution(base_distribution, transforms, validate_args=None)[源代码]#

基类:Distribution

Distribution 类的扩展,它将一系列变换应用于基本分布。令 f 为所应用变换的组合

X ~ BaseDistribution
Y = f(X) ~ TransformedDistribution(BaseDistribution, f)
log p(Y) = log p(X) + log |det (dX/dY)|

请注意,TransformedDistribution.event_shape 是其基本分布及其变换的最大形状,因为变换可以在事件之间引入相关性。

TransformedDistribution 的用法示例将是

# Building a Logistic Distribution
# X ~ Uniform(0, 1)
# f = a + b * logit(X)
# Y ~ f(X) ~ Logistic(a, b)
base_distribution = Uniform(0, 1)
transforms = [SigmoidTransform().inv, AffineTransform(loc=a, scale=b)]
logistic = TransformedDistribution(base_distribution, transforms)

有关更多示例,请参阅 GumbelHalfCauchyHalfNormalLogNormalParetoWeibullRelaxedBernoulliRelaxedOneHotCategorical 的实现。

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
cdf(value)[源代码]#

通过反转变换并计算基本分布的得分来计算累积分布函数。

expand(batch_shape, _instance=None)[源代码]#
property has_rsample: bool#
icdf(value)[源代码]#

使用变换并计算基本分布的得分来计算逆累积分布函数。

log_prob(value)[源代码]#

通过反转变换并使用基本分布的得分和对数绝对行列式雅可比矩阵来计算样本得分。

rsample(sample_shape=torch.Size([]))[源代码]#

生成 sample_shape 形的重参数化样本,如果分布参数是批量的,则生成 sample_shape 形的重参数化样本批次。首先从基本分布中采样,然后对列表中的每个变换应用 transform()

返回类型

张量

sample(sample_shape=torch.Size([]))[源代码]#

生成 sample_shape 形的样本,如果分布参数是批量的,则生成 sample_shape 形的样本批次。首先从基本分布中采样,然后对列表中的每个变换应用 transform()

property support#
返回类型

_DependentProperty

均匀分布#

class torch.distributions.uniform.Uniform(low, high, validate_args=None)[源代码]#

基类:Distribution

从半开区间 [low, high) 中生成均匀分布的随机样本。

示例

>>> m = Uniform(torch.tensor([0.0]), torch.tensor([5.0]))
>>> m.sample()  # uniformly distributed in the range [0.0, 5.0)
tensor([ 2.3418])
参数
  • low (floatTensor) – 下限范围(包含)。

  • high (floatTensor) – 上限范围(不包含)。

property arg_constraints#
cdf(value)[源代码]#
entropy()[源代码]#
expand(batch_shape, _instance=None)[源代码]#
has_rsample = True#
icdf(value)[源代码]#
log_prob(value)[源代码]#
property mean: 张量#
property mode: 张量#
rsample(sample_shape=torch.Size([]))[源代码]#
返回类型

张量

property stddev: 张量#
property support#
返回类型

_DependentProperty

property variance: 张量#

冯·米塞斯分布#

class torch.distributions.von_mises.VonMises(loc, concentration, validate_args=None)[source]#

基类:Distribution

一种圆形冯·米塞斯分布。

此实现使用极坐标。locvalue 参数可以是任何实数(为了便于无约束优化),但被解释为以 2π 为模的角度。

示例:
>>> m = VonMises(torch.tensor([1.0]), torch.tensor([1.0]))
>>> m.sample()  # von Mises distributed with loc=1 and concentration=1
tensor([1.9777])
参数
arg_constraints = {'concentration': GreaterThan(lower_bound=0.0), 'loc': Real()}#
expand(batch_shape, _instance=None)[source]#
has_rsample = False#
log_prob(value)[source]#
property mean: Tensor#

提供的均值是圆形均值。

property mode: Tensor#
sample(sample_shape=torch.Size([]))[source]#

冯·米塞斯分布的采样算法基于以下论文:D.J. Best 和 N.I. Fisher,《冯·米塞斯分布的高效模拟》,《应用统计学》(1979):152-157。

采样内部始终以双精度进行,以避免在 _rejection_sample() 中由于小浓度值而导致的挂起,对于单精度,这种情况在大约 1e-4 时开始发生(参见问题 #88443)。

support = Real()#
property variance: Tensor#

提供的方差是圆形方差。

威布尔分布#

class torch.distributions.weibull.Weibull(scale, concentration, validate_args=None)[source]#

基类:TransformedDistribution

从双参数威布尔分布中采样。

示例

>>> m = Weibull(torch.tensor([1.0]), torch.tensor([1.0]))
>>> m.sample()  # sample from a Weibull distribution with scale=1, concentration=1
tensor([ 0.4784])
参数
  • scale (floatTensor) – 分布的尺度参数 (lambda)。

  • concentration (floatTensor) – 分布的集中参数 (k/shape)。

  • validate_args (bool, optional) – 是否验证参数。默认值:None。

arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration': GreaterThan(lower_bound=0.0), 'scale': GreaterThan(lower_bound=0.0)}#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
property mean: Tensor#
property mode: Tensor#
support = GreaterThan(lower_bound=0.0)#
property variance: Tensor#

Wishart#

class torch.distributions.wishart.Wishart(df, covariance_matrix=None, precision_matrix=None, scale_tril=None, validate_args=None)[source]#

基类:ExponentialFamily

创建一个 Wishart 分布,其参数为一个对称正定矩阵 Σ\Sigma 或其 Cholesky 分解 Σ=LL\mathbf{\Sigma} = \mathbf{L}\mathbf{L}^\top

示例

>>> m = Wishart(torch.Tensor([2]), covariance_matrix=torch.eye(2))
>>> m.sample()  # Wishart distributed with mean=`df * I` and
>>> # variance(x_ij)=`df` for i != j and variance(x_ij)=`2 * df` for i == j
参数
  • df (floatTensor) – 大于(方阵维度)- 1 的实值参数

  • covariance_matrix (Tensor) – 正定协方差矩阵

  • precision_matrix (Tensor) – 正定精度矩阵

  • scale_tril (Tensor) – 协方差的下三角因子,具有正值对角线

注意

只能指定 covariance_matrixprecision_matrixscale_tril 中的一个。使用 scale_tril 会更高效:所有内部计算都基于 scale_tril。如果传递的是 covariance_matrixprecision_matrix,则仅用于通过 Cholesky 分解计算相应的下三角矩阵。’torch.distributions.LKJCholesky’ 是一种受限的 Wishart 分布。[1]

参考文献

[1] Wang, Z., Wu, Y. and Chu, H., 2018. On equivalence of the LKJ distribution and the restricted Wishart distribution. [2] Sawyer, S., 2007. Wishart Distributions and Inverse-Wishart Sampling. [3] Anderson, T. W., 2003. An Introduction to Multivariate Statistical Analysis (3rd ed.). [4] Odell, P. L. & Feiveson, A. H., 1966. A Numerical Procedure to Generate a SampleCovariance Matrix. JASA, 61(313):199-203. [5] Ku, Y.-C. & Bloomfield, P., 2010. Generating Random Wishart Matrices with Fractional Degrees of Freedom in OX.

property arg_constraints#
property covariance_matrix: Tensor#
entropy()[source]#
expand(batch_shape, _instance=None)[source]#
has_rsample = True#
log_prob(value)[source]#
property mean: Tensor#
property mode: Tensor#
property precision_matrix: Tensor#
rsample(sample_shape=torch.Size([]), max_try_correction=None)[source]#

警告

在某些情况下,基于 Bartlett 分解的采样算法可能会返回奇异矩阵样本。默认情况下会尝试多次纠正奇异样本,但最终仍可能返回奇异矩阵样本。奇异样本可能会在 .log_prob() 中返回 -inf 值。在这些情况下,用户应验证样本,并相应地固定 df 的值或调整 .rsample 中参数的 max_try_correction 值。

返回类型

张量

property scale_tril: Tensor#
support = PositiveDefinite()#
property variance: Tensor#

KL 散度#

torch.distributions.kl.kl_divergence(p, q)[source]#

计算两个分布之间的 Kullback-Leibler 散度 KL(pq)KL(p \| q)

KL(pq)=p(x)logp(x)q(x)dxKL(p \| q) = \int p(x) \log\frac {p(x)} {q(x)} \,dx
参数
返回

形状为 batch_shape 的 KL 散度批次。

返回类型

张量

引发

NotImplementedError – 如果分布类型尚未通过 register_kl() 注册。

目前已为以下分布对实现了 KL 散度
  • BernoulliBernoulli

  • BernoulliPoisson

  • BetaBeta

  • BetaContinuousBernoulli

  • BetaExponential

  • BetaGamma

  • BetaNormal

  • BetaPareto

  • BetaUniform

  • BinomialBinomial

  • CategoricalCategorical

  • CauchyCauchy

  • ContinuousBernoulliContinuousBernoulli

  • ContinuousBernoulliExponential

  • ContinuousBernoulliNormal

  • ContinuousBernoulliPareto

  • ContinuousBernoulliUniform

  • DirichletDirichlet

  • ExponentialBeta

  • ExponentialContinuousBernoulli

  • ExponentialExponential

  • ExponentialGamma

  • ExponentialGumbel

  • ExponentialNormal

  • ExponentialPareto

  • ExponentialUniform

  • ExponentialFamilyExponentialFamily

  • GammaBeta

  • GammaContinuousBernoulli

  • GammaExponential

  • GammaGamma

  • GammaGumbel

  • GammaNormal

  • GammaPareto

  • GammaUniform

  • GeometricGeometric

  • GumbelBeta

  • GumbelContinuousBernoulli

  • GumbelExponential

  • GumbelGamma

  • GumbelGumbel

  • GumbelNormal

  • GumbelPareto

  • GumbelUniform

  • HalfNormalHalfNormal

  • IndependentIndependent

  • LaplaceBeta

  • LaplaceContinuousBernoulli

  • LaplaceExponential

  • LaplaceGamma

  • LaplaceLaplace

  • LaplaceNormal

  • LaplacePareto

  • LaplaceUniform

  • LowRankMultivariateNormalLowRankMultivariateNormal

  • LowRankMultivariateNormalMultivariateNormal

  • MultivariateNormalLowRankMultivariateNormal

  • MultivariateNormalMultivariateNormal

  • NormalBeta

  • NormalContinuousBernoulli

  • NormalExponential

  • NormalGamma

  • NormalGumbel

  • NormalLaplace

  • NormalNormal

  • NormalPareto

  • NormalUniform

  • OneHotCategoricalOneHotCategorical

  • ParetoBeta

  • ParetoContinuousBernoulli

  • ParetoExponential

  • ParetoGamma

  • ParetoNormal

  • ParetoPareto

  • ParetoUniform

  • PoissonBernoulli

  • PoissonBinomial

  • PoissonPoisson

  • TransformedDistributionTransformedDistribution

  • UniformBeta

  • UniformContinuousBernoulli

  • UniformExponential

  • UniformGamma

  • UniformGumbel

  • UniformNormal

  • UniformPareto

  • UniformUniform

torch.distributions.kl.register_kl(type_p, type_q)[source]#

用于将成对函数注册到 kl_divergence() 的装饰器。用法:

@register_kl(Normal, Normal)
def kl_normal_normal(p, q):
    # insert implementation here

查找返回按子类排序的最具体(类型,类型)匹配。如果匹配不明确,则会引发 RuntimeWarning。例如,要解决模糊情况:

@register_kl(BaseP, DerivedQ)
def kl_version1(p, q): ...
@register_kl(DerivedP, BaseQ)
def kl_version2(p, q): ...

您应该注册第三个最具体的实现,例如:

register_kl(DerivedP, DerivedQ)(kl_version1)  # Break the tie.
参数
  • type_p (type) – Distribution 的子类。

  • type_q (type) – Distribution 的子类。

变换#

class torch.distributions.transforms.AbsTransform(cache_size=0)[source]#

通过映射 y=xy = |x| 进行变换。

class torch.distributions.transforms.AffineTransform(loc, scale, event_dim=0, cache_size=0)[source]#

通过逐点仿射映射 y=loc+scale×xy = \text{loc} + \text{scale} \times x 进行变换。

参数
  • loc (Tensorfloat) – 位置参数。

  • scale (Tensorfloat) – 尺度参数。

  • event_dim (int) – event_shape 的可选大小。对于单变量随机变量,此值应为零;对于向量上的分布,此值应为 1;对于矩阵上的分布,此值应为 2,依此类推。

class torch.distributions.transforms.CatTransform(tseq, dim=0, lengths=None, cache_size=0)[source]#

变换函子,以与 torch.cat() 兼容的方式,将一系列变换 tseq 分量式地应用于 dim 处每个长度为 lengths[dim] 的子矩阵。

示例

x0 = torch.cat([torch.range(1, 10), torch.range(1, 10)], dim=0)
x = torch.cat([x0, x0], dim=0)
t0 = CatTransform([ExpTransform(), identity_transform], dim=0, lengths=[10, 10])
t = CatTransform([t0, t0], dim=0, lengths=[20, 20])
y = t(x)
class torch.distributions.transforms.ComposeTransform(parts, cache_size=0)[source]#

将多个变换按链式组合。被组合的变换负责缓存。

参数
  • parts (list of Transform) – 要组合的变换列表。

  • cache_size (int) – 缓存大小。如果为零,则不进行缓存。如果为一,则缓存最新的单个值。仅支持 0 和 1。

class torch.distributions.transforms.CorrCholeskyTransform(cache_size=0)[source]#

将长度为 D(D1)/2D*(D-1)/2 的无约束实向量 xx 变换为 D 维相关矩阵的 Cholesky 因子。此 Cholesky 因子是一个下三角矩阵,对角线元素为正,每行具有单位欧几里得范数。变换过程如下:

  1. 首先,我们将 x 转换为行序的下三角矩阵。

  2. 对于下三角部分的每一行 XiX_i,我们应用类 StickBreakingTransform带符号 版本,通过以下步骤将 XiX_i 转换为单位欧几里得长度向量: - 缩放到区间 (1,1)(-1, 1) 域:ri=tanh(Xi)r_i = \tanh(X_i)。 - 转换为无符号域:zi=ri2z_i = r_i^2。 - 应用 si=StickBreakingTransform(zi)s_i = StickBreakingTransform(z_i)。 - 转换回带符号域:yi=sign(ri)siy_i = sign(r_i) * \sqrt{s_i}

class torch.distributions.transforms.CumulativeDistributionTransform(distribution, cache_size=0)[source]#

通过概率分布的累积分布函数进行变换。

参数

distribution (Distribution) – 用于变换的概率分布的累积分布函数。

示例

# Construct a Gaussian copula from a multivariate normal.
base_dist = MultivariateNormal(
    loc=torch.zeros(2),
    scale_tril=LKJCholesky(2).sample(),
)
transform = CumulativeDistributionTransform(Normal(0, 1))
copula = TransformedDistribution(base_dist, [transform])
class torch.distributions.transforms.ExpTransform(cache_size=0)[source]#

通过映射 y=exp(x)y = \exp(x) 进行变换。

class torch.distributions.transforms.IndependentTransform(base_transform, reinterpreted_batch_ndims, cache_size=0)[source]#

这是另一个变换的包装器,它将最右侧的 reinterpreted_batch_ndims 个额外维度视为相关。这不影响正向或反向变换,但会在 log_abs_det_jacobian() 中求和最右侧的 reinterpreted_batch_ndims 个维度。

参数
  • base_transform (Transform) – 一个基础变换。

  • reinterpreted_batch_ndims (int) – 要视为相关维度的最右侧额外维度的数量。

class torch.distributions.transforms.LowerCholeskyTransform(cache_size=0)[source]#

从无约束矩阵到对角线元素非负的下三角矩阵的变换。

这对于通过Cholesky分解来参数化正定矩阵很有用。

class torch.distributions.transforms.PositiveDefiniteTransform(cache_size=0)[source]#

从无约束矩阵到正定矩阵的变换。

class torch.distributions.transforms.PowerTransform(exponent, cache_size=0)[source]#

通过映射 y=xexponenty = x^{\text{exponent}} 进行变换。

class torch.distributions.transforms.ReshapeTransform(in_shape, out_shape, cache_size=0)[source]#

用于重塑张量最右侧部分的单位雅可比变换。

请注意,in_shapeout_shape 必须具有相同的元素数量,就像 torch.Tensor.reshape() 一样。

参数
  • in_shape (torch.Size) – 输入事件形状。

  • out_shape (torch.Size) – 输出事件形状。

  • cache_size (int) – 缓存大小。如果为零,则不进行缓存。如果为一,则缓存最新的单个值。仅支持0和1。(默认0。)

class torch.distributions.transforms.SigmoidTransform(cache_size=0)[source]#

通过映射 y=11+exp(x)y = \frac{1}{1 + \exp(-x)}x=logit(y)x = \text{logit}(y) 进行变换。

class torch.distributions.transforms.SoftplusTransform(cache_size=0)[source]#

通过映射 Softplus(x)=log(1+exp(x))\text{Softplus}(x) = \log(1 + \exp(x)) 进行变换。当 x>20x > 20 时,实现会恢复为线性函数。

class torch.distributions.transforms.TanhTransform(cache_size=0)[source]#

通过映射 y=tanh(x)y = \tanh(x) 进行变换。

它等效于

ComposeTransform(
    [
        AffineTransform(0.0, 2.0),
        SigmoidTransform(),
        AffineTransform(-1.0, 2.0),
    ]
)

然而,这可能在数值上不稳定,因此建议使用 TanhTransform

请注意,当遇到 NaN/Inf 值时,应使用 cache_size=1

class torch.distributions.transforms.SoftmaxTransform(cache_size=0)[source]#

通过 y=exp(x)y = \exp(x) 然后归一化,从无约束空间到单纯形的变换。

这并非双射,不能用于HMC。但是,这主要以坐标方式进行操作(除了最终的归一化),因此适用于坐标式优化算法。

class torch.distributions.transforms.StackTransform(tseq, dim=0, cache_size=0)[source]#

变换函子,它以兼容 torch.stack() 的方式,对 dim 处每个子矩阵应用序列变换 tseq 的组件。

示例

x = torch.stack([torch.range(1, 10), torch.range(1, 10)], dim=1)
t = StackTransform([ExpTransform(), identity_transform], dim=1)
y = t(x)
class torch.distributions.transforms.StickBreakingTransform(cache_size=0)[source]#

通过断棍过程从无约束空间到额外一维单纯形的变换。

这个变换是在 Dirichlet 分布的断棍构造中作为迭代 sigmoid 变换出现的:第一个 logit 通过 sigmoid 变换为第一个概率和其余所有部分的概率,然后这个过程递归进行。

这是双射的,适用于HMC;但是它混合了坐标,不太适合优化。

class torch.distributions.transforms.Transform(cache_size=0)[source]#

可逆变换的抽象类,具有可计算的对数行列式雅可比。它们主要用于 torch.distributions.TransformedDistribution

对于逆变换昂贵或数值不稳定的变换,缓存很有用。请注意,由于自动求导图可能反转,因此在使用记忆化值时必须小心。例如,以下代码无论是否缓存都有效

y = t(x)
t.log_abs_det_jacobian(x, y).backward()  # x will receive gradients.

但是,由于依赖关系反转,以下代码在缓存时会出错

y = t(x)
z = t.inv(y)
grad(z.sum(), [y])  # error because z is x

派生类应实现 _call()_inverse() 中的一个或两个。设置 bijective=True 的派生类还应实现 log_abs_det_jacobian()

参数

cache_size (int) – 缓存大小。如果为零,则不进行缓存。如果为一,则缓存最新的单个值。仅支持 0 和 1。

变量
  • domain (Constraint) – 表示此变换有效输入的约束。

  • codomain (Constraint) – 表示此变换有效输出(即逆变换的输入)的约束。

  • bijective (bool) – 此变换是否为双射。变换 t 是双射的,当且仅当对于域中的每个 x 和协域中的每个 yt.inv(t(x)) == xt(t.inv(y)) == y。非双射的变换至少应保持较弱的伪逆属性 t(t.inv(t(x)) == t(x)t.inv(t(t.inv(y))) == t.inv(y)

  • sign (int or Tensor) – 对于双射单变量变换,这应为 +1 或 -1,具体取决于变换是单调递增还是递减。

property inv: Transform#

返回此变换的逆 Transform。这应满足 t.inv.inv is t

property sign: int#

如果适用,返回雅可比行列式的符号。通常这仅对双射变换有意义。

log_abs_det_jacobian(x, y)[source]#

根据输入和输出计算对数行列式雅可比 log |dy/dx|

forward_shape(shape)[source]#

根据输入形状推断正向计算的形状。默认为保留形状。

inverse_shape(shape)[source]#

根据输出形状推断逆向计算的形状。默认为保留形状。

Constraints#

class torch.distributions.constraints.Constraint[source]#

约束的抽象基类。

约束对象表示变量有效的区域,例如变量可以在其中进行优化的区域。

变量
  • is_discrete (bool) – 受约束空间是否离散。默认为 False。

  • event_dim (int) – 共同定义事件的最右侧维度的数量。check() 方法在计算有效性时将移除此数量的维度。

check(value)[source]#

返回 sample_shape + batch_shape 的字节张量,指示值中的每个事件是否满足此约束。

torch.distributions.constraints.cat[source]#

_Cat 的别名

torch.distributions.constraints.dependent_property[source]#

_DependentProperty 的别名

torch.distributions.constraints.greater_than[source]#

_GreaterThan 的别名

torch.distributions.constraints.greater_than_eq[source]#

_GreaterThanEq 的别名

torch.distributions.constraints.independent[source]#

_IndependentConstraint 的别名

torch.distributions.constraints.integer_interval[source]#

_IntegerInterval 的别名

torch.distributions.constraints.interval[source]#

_Interval 的别名

torch.distributions.constraints.half_open_interval[source]#

_HalfOpenInterval 的别名

is_dependent(constraint)[source]#

检查 constraint 是否是 _Dependent 对象。

参数

constraint – 一个 Constraint 对象。

返回

如果 constraint 可以被细化为类型 _Dependent,则为 True,否则为 False。

返回类型

布尔值

示例

>>> import torch
>>> from torch.distributions import Bernoulli
>>> from torch.distributions.constraints import is_dependent
>>> dist = Bernoulli(probs=torch.tensor([0.6], requires_grad=True))
>>> constraint1 = dist.arg_constraints["probs"]
>>> constraint2 = dist.arg_constraints["logits"]
>>> for constraint in [constraint1, constraint2]:
>>>     if is_dependent(constraint):
>>>         continue
torch.distributions.constraints.less_than[source]#

_LessThan 的别名

class torch.distributions.constraints.MixtureSameFamilyConstraint(base_constraint)[source]#

用于 MixtureSameFamily 分布的约束,在执行组件分布约束的有效性检查之前,它会添加最右侧的批次维度。

参数

base_constraintMixtureSameFamily 分布的组件分布的 Constraint 对象。

check(value)[source]#

检查 value 作为 MixtureSameFamily 分布抽样可能结果的有效性。

torch.distributions.constraints.multinomial[source]#

_Multinomial 的别名

torch.distributions.constraints.stack[source]#

_Stack 的别名

Constraint Registry#

PyTorch 提供了两个全局 ConstraintRegistry 对象,用于将 Constraint 对象链接到 Transform 对象。这些对象都接受约束并返回变换,但它们在双射性方面有不同的保证。

  1. biject_to(constraint) 查找从 constraints.real 到给定 constraint 的双射 Transform。返回的变换保证具有 .bijective = True 并且应实现 .log_abs_det_jacobian()

  2. transform_to(constraint) 查找从 constraints.real 到给定 constraint 的不一定是双射的 Transform。返回的变换不保证实现 .log_abs_det_jacobian()

transform_to() 注册表对于对概率分布的受约束参数执行无约束优化很有用,这些参数由每个分布的 .arg_constraints 字典指示。这些变换通常会过度参数化空间以避免旋转;因此它们更适合坐标式优化算法,如 Adam。

loc = torch.zeros(100, requires_grad=True)
unconstrained = torch.zeros(100, requires_grad=True)
scale = transform_to(Normal.arg_constraints["scale"])(unconstrained)
loss = -Normal(loc, scale).log_prob(data).sum()

biject_to() 注册表对于哈密顿蒙特卡罗很有用,其中具有受约束 .support 的概率分布的样本在无约束空间中传播,并且算法通常是旋转不变的。

dist = Exponential(rate)
unconstrained = torch.zeros(100, requires_grad=True)
sample = biject_to(dist.support)(unconstrained)
potential_energy = -dist.log_prob(sample).sum()

注意

transform_tobiject_to 不同的一个例子是 constraints.simplextransform_to(constraints.simplex) 返回一个 SoftmaxTransform,它只是对其输入进行指数化和归一化;这是一个廉价且大部分是坐标式的操作,适用于 SVI 等算法。相反,biject_to(constraints.simplex) 返回一个 StickBreakingTransform,它将其输入双射到少一个维度的空间;这是一个更昂贵且数值稳定性较差的变换,但HMC等算法需要它。

biject_totransform_to 对象可以通过它们的 .register() 方法进行扩展,既可以作为单例约束上的函数

transform_to.register(my_constraint, my_transform)

也可以作为参数化约束上的装饰器

@transform_to.register(MyConstraintClass)
def my_factory(constraint):
    assert isinstance(constraint, MyConstraintClass)
    return MyTransform(constraint.param1, constraint.param2)

您可以通过创建新的 ConstraintRegistry 对象来创建自己的注册表。

class torch.distributions.constraint_registry.ConstraintRegistry[source]#

用于将约束链接到变换的注册表。

register(constraint, factory=None)[source]#

在此注册表中注册 Constraint 子类。用法:

@my_registry.register(MyConstraintClass)
def construct_transform(constraint):
    assert isinstance(constraint, MyConstraint)
    return MyTransform(constraint.arg_constraints)
参数
  • constraint (Constraint 的子类) – Constraint 的子类,或所需类的单例对象。

  • factory (Callable) – 一个可调用对象,它输入一个约束对象并返回一个 Transform 对象。