概率分布 - torch.distributions#
创建于:2017年10月19日 | 最后更新于:2025年6月13日
distributions
包包含可参数化的概率分布和采样函数。这允许构建随机计算图和随机梯度估计器用于优化。此包通常遵循 TensorFlow Distributions 包的设计。
无法直接通过随机样本进行反向传播。但是,有两种主要方法可以创建可反向传播的替代函数。它们是分数函数估计器/似然比估计器/REINFORCE 和路径导数估计器。REINFORCE 通常被视为强化学习中策略梯度方法的基础,而路径导数估计器常见于变分自编码器中的重参数化技巧。分数函数只需要样本的值 ,而路径导数需要导数 。接下来的章节将通过强化学习示例讨论这两种方法。更多详情请参阅 使用随机计算图进行梯度估计。
分数函数#
当概率密度函数相对于其参数可微时,我们只需要 sample()
和 log_prob()
来实现 REINFORCE
其中 是参数, 是学习率, 是奖励, 是在给定策略 的状态 中采取动作 的概率。
在实践中,我们将从网络输出中采样一个动作,在环境中应用该动作,然后使用 log_prob
来构建等效的损失函数。请注意,我们使用负号,因为优化器使用梯度下降,而上述规则假定梯度上升。对于分类策略,实现 REINFORCE 的代码如下所示
probs = policy_network(state)
# Note that this is equivalent to what used to be called multinomial
m = Categorical(probs)
action = m.sample()
next_state, reward = env.step(action)
loss = -m.log_prob(action) * reward
loss.backward()
路径导数#
实现这些随机/策略梯度的另一种方法是使用 rsample()
方法中的重参数化技巧,其中参数化随机变量可以通过无参数随机变量的参数化确定性函数来构建。因此,重参数化样本变得可微。实现路径导数的代码如下所示
params = policy_network(state)
m = Normal(*params)
# Any distribution with .has_rsample == True could work based on the application
action = m.rsample()
next_state, reward = env.step(action) # Assuming that reward is differentiable
loss = -reward
loss.backward()
分布#
- class torch.distributions.distribution.Distribution(batch_shape=torch.Size([]), event_shape=torch.Size([]), validate_args=None)[source]#
基类:
object
Distribution 是概率分布的抽象基类。
- 参数
batch_shape (torch.Size) – 参数批处理的形状。
event_shape (torch.Size) – 单个样本的形状(不进行批处理)。
validate_args (bool, optional) – 是否验证参数。默认值:None。
- property arg_constraints: dict[str, torch.distributions.constraints.Constraint]#
返回一个字典,其中包含从参数名称到应满足此分布的每个参数的
Constraint
对象的映射。非张量参数无需出现在此字典中。
- enumerate_support(expand=True)[source]#
返回包含离散分布支持的所有值的张量。结果将沿维度 0 枚举,因此结果的形状将是 (cardinality,) + batch_shape + event_shape(对于单变量分布,event_shape = ())。
请注意,这会同步枚举所有批处理张量 [[0, 0], [1, 1], …]。使用 expand=False 时,枚举沿 dim 0 发生,但其余批处理维度是单例维度,[[0], [1], ..。
要遍历完整的笛卡尔积,请使用 itertools.product(m.enumerate_support())。
- expand(batch_shape, _instance=None)[source]#
返回一个新的分布实例(或填充由派生类提供的现有实例),其中批处理维度扩展到 batch_shape。此方法在分布参数上调用
expand
。因此,这不会为扩展的分布实例分配新内存。此外,在首次创建实例时,这不会重复任何参数检查或 __init__.py 中的参数广播。- 参数
batch_shape (torch.Size) – 所需的扩展大小。
_instance – 需要覆盖 .expand 的子类提供的新实例。
- 返回
批处理维度扩展到 batch_size 的新分布实例。
- rsample(sample_shape=torch.Size([]))[source]#
生成 sample_shape 形状的重参数化样本,如果分布参数是批处理的,则生成 sample_shape 形状的重参数化样本批次。
- 返回类型
- sample(sample_shape=torch.Size([]))[source]#
生成 sample_shape 形状的样本,如果分布参数是批处理的,则生成 sample_shape 形状的样本批次。
- 返回类型
- static set_default_validate_args(value)[source]#
设置是否启用或禁用验证。
默认行为模仿 Python 的
assert
语句:默认情况下启用验证,但如果 Python 在优化模式下运行(通过python -O
),则禁用验证。验证可能很昂贵,因此模型正常工作后,您可能希望禁用它。- 参数
value (bool) – 是否启用验证。
- property support: Optional[Constraint]#
返回表示此分布支持的
Constraint
对象。
指数族#
- class torch.distributions.exp_family.ExponentialFamily(batch_shape=torch.Size([]), event_shape=torch.Size([]), validate_args=None)[source]#
基类:
Distribution
ExponentialFamily 是属于指数族的概率分布的抽象基类,其概率质量/密度函数形式如下
其中 表示自然参数, 表示充分统计量, 是给定族群的对数归一化函数, 是载体度量。
注意
此类别是 Distribution 类和属于指数族的分布之间的中间类,主要用于检查 .entropy() 和解析 KL 散度方法的正确性。我们使用此类别通过 AD 框架和 Bregman 散度计算熵和 KL 散度(鸣谢:Frank Nielsen 和 Richard Nock,指数族的熵和交叉熵)。
伯努利#
- class torch.distributions.bernoulli.Bernoulli(probs=None, logits=None, validate_args=None)[source]#
-
创建由
probs
或logits
(但不能同时使用两者)参数化的伯努利分布。样本是二进制(0 或 1)。它们以概率 p 取值 1,以概率 1 - p 取值 0。
示例
>>> m = Bernoulli(torch.tensor([0.3])) >>> m.sample() # 30% chance 1; 70% chance 0 tensor([ 0.])
- 参数
- arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
- has_enumerate_support = True#
- support = Boolean()#
Beta#
- class torch.distributions.beta.Beta(concentration1, concentration0, validate_args=None)[source]#
-
由
concentration1
和concentration0
参数化的 Beta 分布。示例
>>> m = Beta(torch.tensor([0.5]), torch.tensor([0.5])) >>> m.sample() # Beta distributed with concentration concentration1 and concentration0 tensor([ 0.1046])
- 参数
- arg_constraints = {'concentration0': GreaterThan(lower_bound=0.0), 'concentration1': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Interval(lower_bound=0.0, upper_bound=1.0)#
二项式#
- class torch.distributions.binomial.Binomial(total_count=1, probs=None, logits=None, validate_args=None)[source]#
基类:
Distribution
创建由
total_count
和probs
或logits
(但不能同时使用两者)参数化的二项式分布。total_count
必须能够与probs
/logits
广播。示例
>>> m = Binomial(100, torch.tensor([0 , .2, .8, 1])) >>> x = m.sample() tensor([ 0., 22., 71., 100.]) >>> m = Binomial(torch.tensor([[5.], [10.]]), torch.tensor([0.5, 0.8])) >>> x = m.sample() tensor([[ 4., 5.], [ 7., 6.]])
- arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0), 'total_count': IntegerGreaterThan(lower_bound=0)}#
- has_enumerate_support = True#
- property support#
- 返回类型
_DependentProperty
分类#
- class torch.distributions.categorical.Categorical(probs=None, logits=None, validate_args=None)[source]#
基类:
Distribution
创建由
probs
或logits
(但不能同时使用两者)参数化的分类分布。注意
它等同于
torch.multinomial()
采样的分布。样本是整数,范围从 ,其中 K 是
probs.size(-1)
。如果 probs 是长度为 K 的一维张量,则每个元素是采样该索引处类别的相对概率。
如果 probs 是 N 维张量,则前 N-1 个维度被视为相对概率向量的批次。
注意
probs 参数必须是非负、有限且非零和,并且它将沿最后一个维度归一化为和为 1。
probs
将返回此归一化值。logits 参数将解释为未归一化的对数概率,因此可以是任何实数。它同样将归一化,使得结果概率沿最后一个维度和为 1。logits
将返回此归一化值。另请参阅:
torch.multinomial()
示例
>>> m = Categorical(torch.tensor([ 0.25, 0.25, 0.25, 0.25 ])) >>> m.sample() # equal probability of 0, 1, 2, 3 tensor(3)
- arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
- has_enumerate_support = True#
- property support#
- 返回类型
_DependentProperty
柯西#
- class torch.distributions.cauchy.Cauchy(loc, scale, validate_args=None)[source]#
基类:
Distribution
从柯西(洛伦兹)分布中采样。两个独立的均值为 0 的正态分布随机变量之比的分布遵循柯西分布。
示例
>>> m = Cauchy(torch.tensor([0.0]), torch.tensor([1.0])) >>> m.sample() # sample from a Cauchy distribution with loc=0 and scale=1 tensor([ 2.3214])
- arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Real()#
Chi2#
ContinuousBernoulli#
- class torch.distributions.continuous_bernoulli.ContinuousBernoulli(probs=None, logits=None, lims=(0.499, 0.501), validate_args=None)[source]#
-
创建一个连续伯努利分布,由
probs
或logits
参数化(但不能同时使用两者)。该分布在 [0, 1] 范围内支持,并通过 'probs'(在 (0,1) 中)或 'logits'(实值)参数化。请注意,与伯努利分布不同,'probs' 不对应于概率,'logits' 不对应于对数几率,但由于与伯努利分布的相似性而使用相同的名称。有关更多详细信息,请参阅 [1]。
示例
>>> m = ContinuousBernoulli(torch.tensor([0.3])) >>> m.sample() tensor([ 0.2538])
[1] The continuous Bernoulli: fixing a pervasive error in variational autoencoders, Loaiza-Ganem G and Cunningham JP, NeurIPS 2019. https://arxiv.org/abs/1907.06845
- arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
- has_rsample = True#
- support = Interval(lower_bound=0.0, upper_bound=1.0)#
Dirichlet#
- class torch.distributions.dirichlet.Dirichlet(concentration, validate_args=None)[source]#
-
创建由集中度
concentration
参数化的狄利克雷分布。示例
>>> m = Dirichlet(torch.tensor([0.5, 0.5])) >>> m.sample() # Dirichlet distributed with concentration [0.5, 0.5] tensor([ 0.1046, 0.8954])
- 参数
concentration (Tensor) – 分布的集中度参数(通常称为 alpha)
- arg_constraints = {'concentration': IndependentConstraint(GreaterThan(lower_bound=0.0), 1)}#
- has_rsample = True#
- support = Simplex()#
Exponential#
- class torch.distributions.exponential.Exponential(rate, validate_args=None)[source]#
-
创建一个指数分布,由
rate
参数化。示例
>>> m = Exponential(torch.tensor([1.0])) >>> m.sample() # Exponential distributed with rate=1 tensor([ 0.1046])
- arg_constraints = {'rate': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThanEq(lower_bound=0.0)#
FisherSnedecor#
- class torch.distributions.fishersnedecor.FisherSnedecor(df1, df2, validate_args=None)[source]#
基类:
Distribution
创建一个 Fisher-Snedecor 分布,由
df1
和df2
参数化。示例
>>> m = FisherSnedecor(torch.tensor([1.0]), torch.tensor([2.0])) >>> m.sample() # Fisher-Snedecor-distributed with df1=1 and df2=2 tensor([ 0.2453])
- arg_constraints = {'df1': GreaterThan(lower_bound=0.0), 'df2': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThan(lower_bound=0.0)#
Gamma#
- class torch.distributions.gamma.Gamma(concentration, rate, validate_args=None)[source]#
-
创建一个伽马分布,由形状
concentration
和rate
参数化。示例
>>> m = Gamma(torch.tensor([1.0]), torch.tensor([1.0])) >>> m.sample() # Gamma distributed with concentration=1 and rate=1 tensor([ 0.1046])
- 参数
- arg_constraints = {'concentration': GreaterThan(lower_bound=0.0), 'rate': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThanEq(lower_bound=0.0)#
GeneralizedPareto#
- class torch.distributions.generalized_pareto.GeneralizedPareto(loc, scale, concentration, validate_args=None)[source]#
基类:
Distribution
创建一个广义帕累托分布,由
loc
、scale
和concentration
参数化。广义帕累托分布是实线上一系列连续概率分布。特殊情况包括指数分布(当
loc
= 0,concentration
= 0 时)、帕累托分布(当concentration
> 0,loc
=scale
/concentration
时)和均匀分布(当concentration
= -1 时)。此分布通常用于模拟其他分布的尾部。此实现基于 TensorFlow Probability 中的实现。
示例
>>> m = GeneralizedPareto(torch.tensor([0.1]), torch.tensor([2.0]), torch.tensor([0.4])) >>> m.sample() # sample from a Generalized Pareto distribution with loc=0.1, scale=2.0, and concentration=0.4 tensor([ 1.5623])
- 参数
- arg_constraints = {'concentration': Real(), 'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- 属性 mean#
- 属性 mode#
- 属性 support#
- 返回类型
_DependentProperty
- 属性 variance#
Geometric#
- class torch.distributions.geometric.Geometric(probs=None, logits=None, validate_args=None)[source]#
基类:
Distribution
创建一个几何分布,由
probs
参数化,其中probs
是伯努利试验的成功概率。注意
torch.distributions.geometric.Geometric()
-th 试验是第一次成功,因此从 中抽取样本,而torch.Tensor.geometric_()
第 k 次试验是第一次成功,因此从 中抽取样本。示例
>>> m = Geometric(torch.tensor([0.3])) >>> m.sample() # underlying Bernoulli has 30% chance 1; 70% chance 0 tensor([ 2.])
- arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
- support = IntegerGreaterThan(lower_bound=0)#
Gumbel#
- class torch.distributions.gumbel.Gumbel(loc, scale, validate_args=None)[source]#
-
从 Gumbel 分布中采样。
示例
>>> m = Gumbel(torch.tensor([1.0]), torch.tensor([2.0])) >>> m.sample() # sample from Gumbel distribution with loc=1, scale=2 tensor([ 1.0124])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- support = Real()#
HalfCauchy#
- class torch.distributions.half_cauchy.HalfCauchy(scale, validate_args=None)[source]#
-
创建一个由 scale 参数化的半柯西分布,其中
X ~ Cauchy(0, scale) Y = |X| ~ HalfCauchy(scale)
示例
>>> m = HalfCauchy(torch.tensor([1.0])) >>> m.sample() # half-cauchy distributed with scale=1 tensor([ 2.3214])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThanEq(lower_bound=0.0)#
HalfNormal#
- class torch.distributions.half_normal.HalfNormal(scale, validate_args=None)[source]#
-
创建一个半正态分布,由 scale 参数化,其中
X ~ Normal(0, scale) Y = |X| ~ HalfNormal(scale)
示例
>>> m = HalfNormal(torch.tensor([1.0])) >>> m.sample() # half-normal distributed with scale=1 tensor([ 0.1046])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThanEq(lower_bound=0.0)#
Independent#
- class torch.distributions.independent.Independent(base_distribution, reinterpreted_batch_ndims, validate_args=None)[source]#
基类:
Distribution
,Generic
[D
]将分布的一些批处理维度重新解释为事件维度。
这主要用于改变
log_prob()
的结果形状。例如,为了创建与多元正态分布形状相同的对角正态分布(以便它们可以互换),您可以>>> from torch.distributions.multivariate_normal import MultivariateNormal >>> from torch.distributions.normal import Normal >>> loc = torch.zeros(3) >>> scale = torch.ones(3) >>> mvn = MultivariateNormal(loc, scale_tril=torch.diag(scale)) >>> [mvn.batch_shape, mvn.event_shape] [torch.Size([]), torch.Size([3])] >>> normal = Normal(loc, scale) >>> [normal.batch_shape, normal.event_shape] [torch.Size([3]), torch.Size([])] >>> diagn = Independent(normal, 1) >>> [diagn.batch_shape, diagn.event_shape] [torch.Size([]), torch.Size([3])]
- 参数
base_distribution (torch.distributions.distribution.Distribution) – 基础分布
reinterpreted_batch_ndims (int) – 要重新解释为事件维度的批处理维度数量
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
- base_dist: D#
- property support#
- 返回类型
_DependentProperty
InverseGamma#
- class torch.distributions.inverse_gamma.InverseGamma(concentration, rate, validate_args=None)[source]#
-
创建由
concentration
和rate
参数化的逆伽马分布,其中X ~ Gamma(concentration, rate) Y = 1 / X ~ InverseGamma(concentration, rate)
示例
>>> m = InverseGamma(torch.tensor([2.0]), torch.tensor([3.0])) >>> m.sample() tensor([ 1.2953])
- 参数
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration': GreaterThan(lower_bound=0.0), 'rate': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThan(lower_bound=0.0)#
Kumaraswamy#
- class torch.distributions.kumaraswamy.Kumaraswamy(concentration1, concentration0, validate_args=None)[source]#
-
从库马拉斯瓦米分布中采样。
示例
>>> m = Kumaraswamy(torch.tensor([1.0]), torch.tensor([1.0])) >>> m.sample() # sample from a Kumaraswamy distribution with concentration alpha=1 and beta=1 tensor([ 0.1729])
- 参数
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration0': GreaterThan(lower_bound=0.0), 'concentration1': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Interval(lower_bound=0.0, upper_bound=1.0)#
LKJCholesky#
- class torch.distributions.lkj_cholesky.LKJCholesky(dim, concentration=1.0, validate_args=None)[source]#
基类:
Distribution
用于相关矩阵的下三角Cholesky因子的LKJ分布。该分布由
concentration
参数 控制,使得从Cholesky因子生成的相关矩阵 的概率与 成比例。因此,当concentration == 1
时,我们对相关矩阵的Cholesky因子进行均匀分布采样。L ~ LKJCholesky(dim, concentration) X = L @ L' ~ LKJCorr(dim, concentration)
请注意,此分布采样的是相关矩阵的Cholesky因子,而不是相关矩阵本身,因此与[1]中关于 LKJCorr 分布的推导略有不同。对于采样,这使用了[1]第3节中的洋葱方法。
示例
>>> l = LKJCholesky(3, 0.5) >>> l.sample() # l @ l.T is a sample of a correlation 3x3 matrix tensor([[ 1.0000, 0.0000, 0.0000], [ 0.3516, 0.9361, 0.0000], [-0.1899, 0.4748, 0.8593]])
参考文献
[1] Generating random correlation matrices based on vines and extended onion method (2009), Daniel Lewandowski, Dorota Kurowicka, Harry Joe. Journal of Multivariate Analysis. 100. 10.1016/j.jmva.2009.04.008
- arg_constraints = {'concentration': GreaterThan(lower_bound=0.0)}#
- support = CorrCholesky()#
Laplace#
- class torch.distributions.laplace.Laplace(loc, scale, validate_args=None)[source]#
基类:
Distribution
创建一个由
loc
和scale
参数化的拉普拉斯分布。示例
>>> m = Laplace(torch.tensor([0.0]), torch.tensor([1.0])) >>> m.sample() # Laplace distributed with loc=0, scale=1 tensor([ 0.1046])
- arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Real()#
LogNormal#
- class torch.distributions.log_normal.LogNormal(loc, scale, validate_args=None)[source]#
-
X ~ Normal(loc, scale) Y = exp(X) ~ LogNormal(loc, scale)
示例
>>> m = LogNormal(torch.tensor([0.0]), torch.tensor([1.0])) >>> m.sample() # log-normal distributed with mean=0 and stddev=1 tensor([ 0.1046])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = GreaterThan(lower_bound=0.0)#
LowRankMultivariateNormal#
- class torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag, validate_args=None)[source]#
基类:
Distribution
创建具有低秩协方差矩阵的多元正态分布,该矩阵由
cov_factor
和cov_diag
参数化covariance_matrix = cov_factor @ cov_factor.T + cov_diag
示例
>>> m = LowRankMultivariateNormal( ... torch.zeros(2), torch.tensor([[1.0], [0.0]]), torch.ones(2) ... ) >>> m.sample() # normally distributed with mean=`[0,0]`, cov_factor=`[[1],[0]]`, cov_diag=`[1,1]` tensor([-0.2102, -0.5429])
- 参数
注意
当 cov_factor.shape[1] << cov_factor.shape[0] 时,借助 Woodbury矩阵恒等式 和 矩阵行列式引理,避免了协方差矩阵行列式和逆矩阵的计算。由于这些公式,我们只需要计算小尺寸“电容”矩阵的行列式和逆矩阵
capacitance = I + cov_factor.T @ inv(cov_diag) @ cov_factor
- arg_constraints = {'cov_diag': IndependentConstraint(GreaterThan(lower_bound=0.0), 1), 'cov_factor': IndependentConstraint(Real(), 2), 'loc': IndependentConstraint(Real(), 1)}#
- has_rsample = True#
- support = IndependentConstraint(Real(), 1)#
MixtureSameFamily#
- class torch.distributions.mixture_same_family.MixtureSameFamily(mixture_distribution, component_distribution, validate_args=None)[source]#
基类:
Distribution
MixtureSameFamily 分布实现了一种(批处理)混合分布,其中所有组件都来自相同分布类型的不同参数化。它由一个 Categorical “选择分布”(在 k 个组件上)和一个组件分布(即,一个具有最右侧批形状(等于 [k])的 Distribution,它索引每个(批处理的)组件)进行参数化。
示例
>>> # Construct Gaussian Mixture Model in 1D consisting of 5 equally >>> # weighted normal distributions >>> mix = D.Categorical(torch.ones(5,)) >>> comp = D.Normal(torch.randn(5,), torch.rand(5,)) >>> gmm = MixtureSameFamily(mix, comp) >>> # Construct Gaussian Mixture Model in 2D consisting of 5 equally >>> # weighted bivariate normal distributions >>> mix = D.Categorical(torch.ones(5,)) >>> comp = D.Independent(D.Normal( ... torch.randn(5,2), torch.rand(5,2)), 1) >>> gmm = MixtureSameFamily(mix, comp) >>> # Construct a batch of 3 Gaussian Mixture Models in 2D each >>> # consisting of 5 random weighted bivariate normal distributions >>> mix = D.Categorical(torch.rand(3,5)) >>> comp = D.Independent(D.Normal( ... torch.randn(3,5,2), torch.rand(3,5,2)), 1) >>> gmm = MixtureSameFamily(mix, comp)
- 参数
mixture_distribution (Categorical) – torch.distributions.Categorical 类似实例。管理选择组件的概率。类别数必须与 component_distribution 的最右批处理维度匹配。必须具有标量 batch_shape 或与 component_distribution.batch_shape[:-1] 匹配的 batch_shape
component_distribution (Distribution) – torch.distributions.Distribution 类似实例。最右批处理维度索引组件。
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
- property component_distribution: Distribution#
- has_rsample = False#
- property mixture_distribution: Categorical#
- property support#
- 返回类型
_DependentProperty
Multinomial#
- class torch.distributions.multinomial.Multinomial(total_count=1, probs=None, logits=None, validate_args=None)[source]#
基类:
Distribution
创建由
total_count
和probs
或logits
(但不能同时指定两者)参数化的多项式分布。probs
的最内层维度索引类别。所有其他维度索引批次。请注意,如果只调用
log_prob()
,则无需指定total_count
(参见下面的示例)注意
probs 参数必须是非负、有限且非零和的,并且它将在最后一个维度上归一化为和为1。
probs
将返回此归一化值。logits 参数将被解释为未归一化的对数概率,因此可以是任意实数。它同样会进行归一化,使得结果概率在最后一个维度上和为1。logits
将返回此归一化值。sample()
要求所有参数和样本共享一个 total_count。log_prob()
允许每个参数和样本有不同的 total_count。
示例
>>> m = Multinomial(100, torch.tensor([ 1., 1., 1., 1.])) >>> x = m.sample() # equal probability of 0, 1, 2, 3 tensor([ 21., 24., 30., 25.]) >>> Multinomial(probs=torch.tensor([1., 1., 1., 1.])).log_prob(x) tensor([-4.1338])
- arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
- property support#
- 返回类型
_DependentProperty
MultivariateNormal#
- class torch.distributions.multivariate_normal.MultivariateNormal(loc, covariance_matrix=None, precision_matrix=None, scale_tril=None, validate_args=None)[source]#
基类:
Distribution
创建由均值向量和协方差矩阵参数化的多元正态(也称为高斯)分布。
多元正态分布可以用正定协方差矩阵 或正定精度矩阵 或具有正值对角线元素的下三角矩阵 进行参数化,使得 。该三角矩阵可以通过例如协方差的乔列斯基分解获得。
示例
>>> m = MultivariateNormal(torch.zeros(2), torch.eye(2)) >>> m.sample() # normally distributed with mean=`[0,0]` and covariance_matrix=`I` tensor([-0.2102, -0.5429])
- 参数
注意
covariance_matrix
或precision_matrix
或scale_tril
中只能指定一个。使用
scale_tril
将更有效:所有内部计算都基于scale_tril
。如果传递covariance_matrix
或precision_matrix
,则仅用于通过乔列斯基分解计算相应的下三角矩阵。- arg_constraints = {'covariance_matrix': PositiveDefinite(), 'loc': IndependentConstraint(Real(), 1), 'precision_matrix': PositiveDefinite(), 'scale_tril': LowerCholesky()}#
- has_rsample = True#
- support = IndependentConstraint(Real(), 1)#
NegativeBinomial#
- class torch.distributions.negative_binomial.NegativeBinomial(total_count, probs=None, logits=None, validate_args=None)[source]#
基类:
Distribution
创建负二项式分布,即在达到
total_count
次失败之前成功独立同分布伯努利试验的次数的分布。每个伯努利试验的成功概率是probs
。- 参数
- arg_constraints = {'logits': Real(), 'probs': HalfOpenInterval(lower_bound=0.0, upper_bound=1.0), 'total_count': GreaterThanEq(lower_bound=0)}#
- support = IntegerGreaterThan(lower_bound=0)#
正态分布#
- class torch.distributions.normal.Normal(loc, scale, validate_args=None)[源代码]#
-
创建由
loc
和scale
参数化的正态(也称为高斯)分布。示例
>>> m = Normal(torch.tensor([0.0]), torch.tensor([1.0])) >>> m.sample() # normally distributed with loc=0 and scale=1 tensor([ 0.1046])
- arg_constraints = {'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Real()#
OneHotCategorical#
- class torch.distributions.one_hot_categorical.OneHotCategorical(probs=None, logits=None, validate_args=None)[源代码]#
基类:
Distribution
创建由
probs
或logits
参数化的独热分类分布。样本是大小为
probs.size(-1)
的独热编码向量。注意
probs 参数必须是非负、有限且总和不为零的,并且将沿最后一个维度归一化为总和为 1。
probs
将返回此归一化值。logits 参数将被解释为未归一化的对数概率,因此可以是任何实数。它也将被归一化,以便生成的概率沿最后一个维度总和为 1。logits
将返回此归一化值。另请参阅:
torch.distributions.Categorical()
以获取probs
和logits
的规范。示例
>>> m = OneHotCategorical(torch.tensor([ 0.25, 0.25, 0.25, 0.25 ])) >>> m.sample() # equal probability of 0, 1, 2, 3 tensor([ 0., 0., 0., 1.])
- arg_constraints = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
- has_enumerate_support = True#
- support = OneHot()#
Pareto#
- class torch.distributions.pareto.Pareto(scale, alpha, validate_args=None)[源代码]#
-
从帕累托 1 型分布中采样。
示例
>>> m = Pareto(torch.tensor([1.0]), torch.tensor([1.0])) >>> m.sample() # sample from a Pareto distribution with scale=1 and alpha=1 tensor([ 1.5623])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'alpha': GreaterThan(lower_bound=0.0), 'scale': GreaterThan(lower_bound=0.0)}#
泊松分布#
- class torch.distributions.poisson.Poisson(rate, validate_args=None)[源代码]#
-
创建由速率参数
rate
参数化的泊松分布。样本是非负整数,其 pmf 由以下给出
示例
>>> m = Poisson(torch.tensor([4])) >>> m.sample() tensor([ 3.])
- 参数
rate (数字, 张量) – 速率参数
- arg_constraints = {'rate': GreaterThanEq(lower_bound=0.0)}#
- support = IntegerGreaterThan(lower_bound=0)#
RelaxedBernoulli#
- class torch.distributions.relaxed_bernoulli.RelaxedBernoulli(temperature, probs=None, logits=None, validate_args=None)[源代码]#
-
创建松弛伯努利分布,由
temperature
和probs
或logits
(但不能同时使用两者)参数化。这是 Bernoulli 分布的松弛版本,因此值在 (0, 1) 之间,并且具有可重参数化的样本。示例
>>> m = RelaxedBernoulli(torch.tensor([2.2]), ... torch.tensor([0.1, 0.2, 0.3, 0.99])) >>> m.sample() tensor([ 0.2951, 0.3442, 0.8918, 0.9021])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
- base_dist: LogitRelaxedBernoulli#
- has_rsample = True#
- support = Interval(lower_bound=0.0, upper_bound=1.0)#
LogitRelaxedBernoulli#
- class torch.distributions.relaxed_bernoulli.LogitRelaxedBernoulli(temperature, probs=None, logits=None, validate_args=None)[源代码]#
基类:
Distribution
创建由
probs
或logits
(但不能同时使用两者)参数化的 LogitRelaxedBernoulli 分布,它是 RelaxedBernoulli 分布的 logit。样本是 (0, 1) 中值的 logit。有关更多详细信息,请参阅 [1]。
[1] The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables (Maddison et al., 2017)
[2] Categorical Reparametrization with Gumbel-Softmax (Jang et al., 2017)
- arg_constraints = {'logits': Real(), 'probs': Interval(lower_bound=0.0, upper_bound=1.0)}#
- support = Real()#
RelaxedOneHotCategorical#
- class torch.distributions.relaxed_categorical.RelaxedOneHotCategorical(temperature, probs=None, logits=None, validate_args=None)[源代码]#
-
创建由
temperature
和probs
或logits
参数化的 RelaxedOneHotCategorical 分布。这是OneHotCategorical
分布的松弛版本,因此其样本位于单纯形上,并且是可重参数化的。示例
>>> m = RelaxedOneHotCategorical(torch.tensor([2.2]), ... torch.tensor([0.1, 0.2, 0.3, 0.4])) >>> m.sample() tensor([ 0.1294, 0.2324, 0.3859, 0.2523])
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'logits': IndependentConstraint(Real(), 1), 'probs': Simplex()}#
- base_dist: ExpRelaxedCategorical#
- has_rsample = True#
- support = Simplex()#
学生 t 分布#
- class torch.distributions.studentT.StudentT(df, loc=0.0, scale=1.0, validate_args=None)[源代码]#
基类:
Distribution
创建由自由度
df
、均值loc
和尺度scale
参数化的学生 t 分布。示例
>>> m = StudentT(torch.tensor([2.0])) >>> m.sample() # Student's t-distributed with degrees of freedom=2 tensor([ 0.1046])
- arg_constraints = {'df': GreaterThan(lower_bound=0.0), 'loc': Real(), 'scale': GreaterThan(lower_bound=0.0)}#
- has_rsample = True#
- support = Real()#
变换分布#
- class torch.distributions.transformed_distribution.TransformedDistribution(base_distribution, transforms, validate_args=None)[源代码]#
基类:
Distribution
Distribution 类的扩展,它将一系列变换应用于基本分布。令 f 为所应用变换的组合
X ~ BaseDistribution Y = f(X) ~ TransformedDistribution(BaseDistribution, f) log p(Y) = log p(X) + log |det (dX/dY)|
请注意,
TransformedDistribution
的.event_shape
是其基本分布及其变换的最大形状,因为变换可以在事件之间引入相关性。TransformedDistribution
的用法示例将是# Building a Logistic Distribution # X ~ Uniform(0, 1) # f = a + b * logit(X) # Y ~ f(X) ~ Logistic(a, b) base_distribution = Uniform(0, 1) transforms = [SigmoidTransform().inv, AffineTransform(loc=a, scale=b)] logistic = TransformedDistribution(base_distribution, transforms)
有关更多示例,请参阅
Gumbel
、HalfCauchy
、HalfNormal
、LogNormal
、Pareto
、Weibull
、RelaxedBernoulli
和RelaxedOneHotCategorical
的实现。- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {}#
- rsample(sample_shape=torch.Size([]))[源代码]#
生成 sample_shape 形的重参数化样本,如果分布参数是批量的,则生成 sample_shape 形的重参数化样本批次。首先从基本分布中采样,然后对列表中的每个变换应用 transform()。
- 返回类型
- sample(sample_shape=torch.Size([]))[源代码]#
生成 sample_shape 形的样本,如果分布参数是批量的,则生成 sample_shape 形的样本批次。首先从基本分布中采样,然后对列表中的每个变换应用 transform()。
- property support#
- 返回类型
_DependentProperty
均匀分布#
- class torch.distributions.uniform.Uniform(low, high, validate_args=None)[源代码]#
基类:
Distribution
从半开区间
[low, high)
中生成均匀分布的随机样本。示例
>>> m = Uniform(torch.tensor([0.0]), torch.tensor([5.0])) >>> m.sample() # uniformly distributed in the range [0.0, 5.0) tensor([ 2.3418])
- property arg_constraints#
- has_rsample = True#
- property support#
- 返回类型
_DependentProperty
冯·米塞斯分布#
- class torch.distributions.von_mises.VonMises(loc, concentration, validate_args=None)[source]#
基类:
Distribution
一种圆形冯·米塞斯分布。
此实现使用极坐标。
loc
和value
参数可以是任何实数(为了便于无约束优化),但被解释为以 2π 为模的角度。- 示例:
>>> m = VonMises(torch.tensor([1.0]), torch.tensor([1.0])) >>> m.sample() # von Mises distributed with loc=1 and concentration=1 tensor([1.9777])
- 参数
loc (torch.Tensor) – 以弧度表示的角度。
concentration (torch.Tensor) – 集中参数
- arg_constraints = {'concentration': GreaterThan(lower_bound=0.0), 'loc': Real()}#
- has_rsample = False#
- sample(sample_shape=torch.Size([]))[source]#
冯·米塞斯分布的采样算法基于以下论文:D.J. Best 和 N.I. Fisher,《冯·米塞斯分布的高效模拟》,《应用统计学》(1979):152-157。
采样内部始终以双精度进行,以避免在
_rejection_sample()
中由于小浓度值而导致的挂起,对于单精度,这种情况在大约 1e-4 时开始发生(参见问题 #88443)。
- support = Real()#
威布尔分布#
- class torch.distributions.weibull.Weibull(scale, concentration, validate_args=None)[source]#
-
从双参数威布尔分布中采样。
示例
>>> m = Weibull(torch.tensor([1.0]), torch.tensor([1.0])) >>> m.sample() # sample from a Weibull distribution with scale=1, concentration=1 tensor([ 0.4784])
- 参数
- arg_constraints: dict[str, torch.distributions.constraints.Constraint] = {'concentration': GreaterThan(lower_bound=0.0), 'scale': GreaterThan(lower_bound=0.0)}#
- support = GreaterThan(lower_bound=0.0)#
Wishart#
- class torch.distributions.wishart.Wishart(df, covariance_matrix=None, precision_matrix=None, scale_tril=None, validate_args=None)[source]#
-
创建一个 Wishart 分布,其参数为一个对称正定矩阵 或其 Cholesky 分解 。
示例
>>> m = Wishart(torch.Tensor([2]), covariance_matrix=torch.eye(2)) >>> m.sample() # Wishart distributed with mean=`df * I` and >>> # variance(x_ij)=`df` for i != j and variance(x_ij)=`2 * df` for i == j
- 参数
注意
只能指定
covariance_matrix
或precision_matrix
或scale_tril
中的一个。使用scale_tril
会更高效:所有内部计算都基于scale_tril
。如果传递的是covariance_matrix
或precision_matrix
,则仅用于通过 Cholesky 分解计算相应的下三角矩阵。’torch.distributions.LKJCholesky’ 是一种受限的 Wishart 分布。[1]参考文献
[1] Wang, Z., Wu, Y. and Chu, H., 2018. On equivalence of the LKJ distribution and the restricted Wishart distribution. [2] Sawyer, S., 2007. Wishart Distributions and Inverse-Wishart Sampling. [3] Anderson, T. W., 2003. An Introduction to Multivariate Statistical Analysis (3rd ed.). [4] Odell, P. L. & Feiveson, A. H., 1966. A Numerical Procedure to Generate a SampleCovariance Matrix. JASA, 61(313):199-203. [5] Ku, Y.-C. & Bloomfield, P., 2010. Generating Random Wishart Matrices with Fractional Degrees of Freedom in OX.
- property arg_constraints#
- has_rsample = True#
- rsample(sample_shape=torch.Size([]), max_try_correction=None)[source]#
警告
在某些情况下,基于 Bartlett 分解的采样算法可能会返回奇异矩阵样本。默认情况下会尝试多次纠正奇异样本,但最终仍可能返回奇异矩阵样本。奇异样本可能会在 .log_prob() 中返回 -inf 值。在这些情况下,用户应验证样本,并相应地固定 df 的值或调整 .rsample 中参数的 max_try_correction 值。
- 返回类型
- support = PositiveDefinite()#
KL 散度
#
- torch.distributions.kl.kl_divergence(p, q)[source]#
计算两个分布之间的 Kullback-Leibler 散度 。
- 参数
p (Distribution) – 一个
Distribution
对象。q (Distribution) – 一个
Distribution
对象。
- 返回
形状为 batch_shape 的 KL 散度批次。
- 返回类型
- 引发
NotImplementedError – 如果分布类型尚未通过
register_kl()
注册。
- 目前已为以下分布对实现了 KL 散度
Bernoulli
和Bernoulli
Bernoulli
和Poisson
Beta
和Beta
Beta
和ContinuousBernoulli
Beta
和Exponential
Beta
和Gamma
Beta
和Normal
Beta
和Pareto
Beta
和Uniform
Binomial
和Binomial
Categorical
和Categorical
Cauchy
和Cauchy
ContinuousBernoulli
和ContinuousBernoulli
ContinuousBernoulli
和Exponential
ContinuousBernoulli
和Normal
ContinuousBernoulli
和Pareto
ContinuousBernoulli
和Uniform
Dirichlet
和Dirichlet
Exponential
和Beta
Exponential
和ContinuousBernoulli
Exponential
和Exponential
Exponential
和Gamma
Exponential
和Gumbel
Exponential
和Normal
Exponential
和Pareto
Exponential
和Uniform
ExponentialFamily
和ExponentialFamily
Gamma
和Beta
Gamma
和ContinuousBernoulli
Gamma
和Exponential
Gamma
和Gamma
Gamma
和Gumbel
Gamma
和Normal
Gamma
和Pareto
Gamma
和Uniform
Geometric
和Geometric
Gumbel
和Beta
Gumbel
和ContinuousBernoulli
Gumbel
和Exponential
Gumbel
和Gamma
Gumbel
和Gumbel
Gumbel
和Normal
Gumbel
和Pareto
Gumbel
和Uniform
HalfNormal
和HalfNormal
Independent
和Independent
Laplace
和Beta
Laplace
和ContinuousBernoulli
Laplace
和Exponential
Laplace
和Gamma
Laplace
和Laplace
Laplace
和Normal
Laplace
和Pareto
Laplace
和Uniform
LowRankMultivariateNormal
和LowRankMultivariateNormal
LowRankMultivariateNormal
和MultivariateNormal
MultivariateNormal
和LowRankMultivariateNormal
MultivariateNormal
和MultivariateNormal
Normal
和Beta
Normal
和ContinuousBernoulli
Normal
和Exponential
Normal
和Gamma
Normal
和Gumbel
Normal
和Laplace
Normal
和Normal
Normal
和Pareto
Normal
和Uniform
OneHotCategorical
和OneHotCategorical
Pareto
和Beta
Pareto
和ContinuousBernoulli
Pareto
和Exponential
Pareto
和Gamma
Pareto
和Normal
Pareto
和Pareto
Pareto
和Uniform
Poisson
和Bernoulli
Poisson
和Binomial
Poisson
和Poisson
TransformedDistribution
和TransformedDistribution
Uniform
和Beta
Uniform
和ContinuousBernoulli
Uniform
和Exponential
Uniform
和Gamma
Uniform
和Gumbel
Uniform
和Normal
Uniform
和Pareto
Uniform
和Uniform
- torch.distributions.kl.register_kl(type_p, type_q)[source]#
用于将成对函数注册到
kl_divergence()
的装饰器。用法:@register_kl(Normal, Normal) def kl_normal_normal(p, q): # insert implementation here
查找返回按子类排序的最具体(类型,类型)匹配。如果匹配不明确,则会引发 RuntimeWarning。例如,要解决模糊情况:
@register_kl(BaseP, DerivedQ) def kl_version1(p, q): ... @register_kl(DerivedP, BaseQ) def kl_version2(p, q): ...
您应该注册第三个最具体的实现,例如:
register_kl(DerivedP, DerivedQ)(kl_version1) # Break the tie.
变换
#
- class torch.distributions.transforms.AffineTransform(loc, scale, event_dim=0, cache_size=0)[source]#
通过逐点仿射映射 进行变换。
- class torch.distributions.transforms.CatTransform(tseq, dim=0, lengths=None, cache_size=0)[source]#
变换函子,以与
torch.cat()
兼容的方式,将一系列变换 tseq 分量式地应用于 dim 处每个长度为 lengths[dim] 的子矩阵。示例
x0 = torch.cat([torch.range(1, 10), torch.range(1, 10)], dim=0) x = torch.cat([x0, x0], dim=0) t0 = CatTransform([ExpTransform(), identity_transform], dim=0, lengths=[10, 10]) t = CatTransform([t0, t0], dim=0, lengths=[20, 20]) y = t(x)
- class torch.distributions.transforms.ComposeTransform(parts, cache_size=0)[source]#
将多个变换按链式组合。被组合的变换负责缓存。
- class torch.distributions.transforms.CorrCholeskyTransform(cache_size=0)[source]#
将长度为 的无约束实向量 变换为 D 维相关矩阵的 Cholesky 因子。此 Cholesky 因子是一个下三角矩阵,对角线元素为正,每行具有单位欧几里得范数。变换过程如下:
首先,我们将 x 转换为行序的下三角矩阵。
对于下三角部分的每一行 ,我们应用类
StickBreakingTransform
的 带符号 版本,通过以下步骤将 转换为单位欧几里得长度向量: - 缩放到区间 域:。 - 转换为无符号域:。 - 应用 。 - 转换回带符号域:。
- class torch.distributions.transforms.CumulativeDistributionTransform(distribution, cache_size=0)[source]#
通过概率分布的累积分布函数进行变换。
- 参数
distribution (Distribution) – 用于变换的概率分布的累积分布函数。
示例
# Construct a Gaussian copula from a multivariate normal. base_dist = MultivariateNormal( loc=torch.zeros(2), scale_tril=LKJCholesky(2).sample(), ) transform = CumulativeDistributionTransform(Normal(0, 1)) copula = TransformedDistribution(base_dist, [transform])
- class torch.distributions.transforms.IndependentTransform(base_transform, reinterpreted_batch_ndims, cache_size=0)[source]#
这是另一个变换的包装器,它将最右侧的
reinterpreted_batch_ndims
个额外维度视为相关。这不影响正向或反向变换,但会在log_abs_det_jacobian()
中求和最右侧的reinterpreted_batch_ndims
个维度。
- class torch.distributions.transforms.LowerCholeskyTransform(cache_size=0)[source]#
从无约束矩阵到对角线元素非负的下三角矩阵的变换。
这对于通过Cholesky分解来参数化正定矩阵很有用。
- class torch.distributions.transforms.PositiveDefiniteTransform(cache_size=0)[source]#
从无约束矩阵到正定矩阵的变换。
- class torch.distributions.transforms.ReshapeTransform(in_shape, out_shape, cache_size=0)[source]#
用于重塑张量最右侧部分的单位雅可比变换。
请注意,
in_shape
和out_shape
必须具有相同的元素数量,就像torch.Tensor.reshape()
一样。- 参数
in_shape (torch.Size) – 输入事件形状。
out_shape (torch.Size) – 输出事件形状。
cache_size (int) – 缓存大小。如果为零,则不进行缓存。如果为一,则缓存最新的单个值。仅支持0和1。(默认0。)
- class torch.distributions.transforms.SoftplusTransform(cache_size=0)[source]#
通过映射 进行变换。当 时,实现会恢复为线性函数。
- class torch.distributions.transforms.TanhTransform(cache_size=0)[source]#
通过映射 进行变换。
它等效于
ComposeTransform( [ AffineTransform(0.0, 2.0), SigmoidTransform(), AffineTransform(-1.0, 2.0), ] )
然而,这可能在数值上不稳定,因此建议使用 TanhTransform。
请注意,当遇到 NaN/Inf 值时,应使用 cache_size=1。
- class torch.distributions.transforms.SoftmaxTransform(cache_size=0)[source]#
通过 然后归一化,从无约束空间到单纯形的变换。
这并非双射,不能用于HMC。但是,这主要以坐标方式进行操作(除了最终的归一化),因此适用于坐标式优化算法。
- class torch.distributions.transforms.StackTransform(tseq, dim=0, cache_size=0)[source]#
变换函子,它以兼容
torch.stack()
的方式,对 dim 处每个子矩阵应用序列变换 tseq 的组件。示例
x = torch.stack([torch.range(1, 10), torch.range(1, 10)], dim=1) t = StackTransform([ExpTransform(), identity_transform], dim=1) y = t(x)
- class torch.distributions.transforms.StickBreakingTransform(cache_size=0)[source]#
通过断棍过程从无约束空间到额外一维单纯形的变换。
这个变换是在 Dirichlet 分布的断棍构造中作为迭代 sigmoid 变换出现的:第一个 logit 通过 sigmoid 变换为第一个概率和其余所有部分的概率,然后这个过程递归进行。
这是双射的,适用于HMC;但是它混合了坐标,不太适合优化。
- class torch.distributions.transforms.Transform(cache_size=0)[source]#
可逆变换的抽象类,具有可计算的对数行列式雅可比。它们主要用于
torch.distributions.TransformedDistribution
。对于逆变换昂贵或数值不稳定的变换,缓存很有用。请注意,由于自动求导图可能反转,因此在使用记忆化值时必须小心。例如,以下代码无论是否缓存都有效
y = t(x) t.log_abs_det_jacobian(x, y).backward() # x will receive gradients.
但是,由于依赖关系反转,以下代码在缓存时会出错
y = t(x) z = t.inv(y) grad(z.sum(), [y]) # error because z is x
派生类应实现
_call()
或_inverse()
中的一个或两个。设置 bijective=True 的派生类还应实现log_abs_det_jacobian()
。- 参数
cache_size (int) – 缓存大小。如果为零,则不进行缓存。如果为一,则缓存最新的单个值。仅支持 0 和 1。
- 变量
domain (
Constraint
) – 表示此变换有效输入的约束。codomain (
Constraint
) – 表示此变换有效输出(即逆变换的输入)的约束。bijective (bool) – 此变换是否为双射。变换
t
是双射的,当且仅当对于域中的每个x
和协域中的每个y
,t.inv(t(x)) == x
和t(t.inv(y)) == y
。非双射的变换至少应保持较弱的伪逆属性t(t.inv(t(x)) == t(x)
和t.inv(t(t.inv(y))) == t.inv(y)
。sign (int or Tensor) – 对于双射单变量变换,这应为 +1 或 -1,具体取决于变换是单调递增还是递减。
Constraints
#
- class torch.distributions.constraints.Constraint[source]#
约束的抽象基类。
约束对象表示变量有效的区域,例如变量可以在其中进行优化的区域。
- 变量
- is_dependent(constraint)[source]#
检查
constraint
是否是_Dependent
对象。- 参数
constraint – 一个
Constraint
对象。- 返回
如果
constraint
可以被细化为类型_Dependent
,则为 True,否则为 False。- 返回类型
布尔值
示例
>>> import torch >>> from torch.distributions import Bernoulli >>> from torch.distributions.constraints import is_dependent
>>> dist = Bernoulli(probs=torch.tensor([0.6], requires_grad=True)) >>> constraint1 = dist.arg_constraints["probs"] >>> constraint2 = dist.arg_constraints["logits"]
>>> for constraint in [constraint1, constraint2]: >>> if is_dependent(constraint): >>> continue
Constraint Registry
#
PyTorch 提供了两个全局 ConstraintRegistry
对象,用于将 Constraint
对象链接到 Transform
对象。这些对象都接受约束并返回变换,但它们在双射性方面有不同的保证。
biject_to(constraint)
查找从constraints.real
到给定constraint
的双射Transform
。返回的变换保证具有.bijective = True
并且应实现.log_abs_det_jacobian()
。transform_to(constraint)
查找从constraints.real
到给定constraint
的不一定是双射的Transform
。返回的变换不保证实现.log_abs_det_jacobian()
。
transform_to()
注册表对于对概率分布的受约束参数执行无约束优化很有用,这些参数由每个分布的 .arg_constraints
字典指示。这些变换通常会过度参数化空间以避免旋转;因此它们更适合坐标式优化算法,如 Adam。
loc = torch.zeros(100, requires_grad=True)
unconstrained = torch.zeros(100, requires_grad=True)
scale = transform_to(Normal.arg_constraints["scale"])(unconstrained)
loss = -Normal(loc, scale).log_prob(data).sum()
biject_to()
注册表对于哈密顿蒙特卡罗很有用,其中具有受约束 .support
的概率分布的样本在无约束空间中传播,并且算法通常是旋转不变的。
dist = Exponential(rate)
unconstrained = torch.zeros(100, requires_grad=True)
sample = biject_to(dist.support)(unconstrained)
potential_energy = -dist.log_prob(sample).sum()
注意
transform_to
和 biject_to
不同的一个例子是 constraints.simplex
:transform_to(constraints.simplex)
返回一个 SoftmaxTransform
,它只是对其输入进行指数化和归一化;这是一个廉价且大部分是坐标式的操作,适用于 SVI 等算法。相反,biject_to(constraints.simplex)
返回一个 StickBreakingTransform
,它将其输入双射到少一个维度的空间;这是一个更昂贵且数值稳定性较差的变换,但HMC等算法需要它。
biject_to
和 transform_to
对象可以通过它们的 .register()
方法进行扩展,既可以作为单例约束上的函数
transform_to.register(my_constraint, my_transform)
也可以作为参数化约束上的装饰器
@transform_to.register(MyConstraintClass)
def my_factory(constraint):
assert isinstance(constraint, MyConstraintClass)
return MyTransform(constraint.param1, constraint.param2)
您可以通过创建新的 ConstraintRegistry
对象来创建自己的注册表。
- class torch.distributions.constraint_registry.ConstraintRegistry[source]#
用于将约束链接到变换的注册表。
- register(constraint, factory=None)[source]#
在此注册表中注册
Constraint
子类。用法:@my_registry.register(MyConstraintClass) def construct_transform(constraint): assert isinstance(constraint, MyConstraint) return MyTransform(constraint.arg_constraints)
- 参数
constraint (
Constraint
的子类) –Constraint
的子类,或所需类的单例对象。factory (Callable) – 一个可调用对象,它输入一个约束对象并返回一个
Transform
对象。