LnStructured#

class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)[source]#

Prune entire (currently unpruned) channels in a tensor based on their Ln-norm。

参数

amount (int or float) – 要裁剪的通道数量。如果为 float，应介于 0.0 和 1.0 之间，表示要裁剪的参数的比例。如果为 int，则表示要裁剪的参数的绝对数量。
n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm() 中有效条目的参数 p 的文档。
dim (int, optional) – 定义要裁剪的通道的维度索引。默认为 -1。

classmethod apply(module, name, amount, n, dim, importance_scores=None)[source]#

即时添加裁剪和张量的重新参数化。

添加用于即时裁剪的前向预钩子以及张量根据原始张量和裁剪掩码的重新参数化。

参数

module (nn.Module) – 包含要裁剪的张量的模块
name (str) – module 中将执行裁剪的参数名称。
amount (int or float) – 要裁剪的参数数量。如果为 float，应介于 0.0 和 1.0 之间，表示要裁剪的参数的比例。如果为 int，则表示要裁剪的参数的绝对数量。
n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm() 中有效条目的参数 p 的文档。
dim (int) – 定义要修剪通道的维度索引。
importance_scores (torch.Tensor) – 用于计算裁剪掩码的重要性分数张量（形状与模块参数相同）。此张量中的值指示要裁剪的参数中相应元素的が重要度。如果未指定或为 None，则将使用模块参数。

apply_mask(module)[source]#

简单处理要裁剪的参数和生成的掩码之间的乘法。

从模块中获取掩码和原始张量，并返回张量的裁剪版本。

compute_mask(t, default_mask)[source]#

计算并返回输入张量 t 的掩码。

从 default_mask（如果张量尚未被裁剪，则应为全 1 的掩码）开始，通过零化具有最低 Ln-范数的沿指定维度的通道来生成一个应用于 default_mask 之上的掩码。

参数

返回

应用于 t 的掩码，维度与 t 相同

返回类型

mask (torch.Tensor)

引发

IndexError – 如果 self.dim >= len(t.shape)。

prune(t, default_mask=None, importance_scores=None)[source]#

根据 compute_mask() 中指定的裁剪规则，计算并返回输入张量 t 的裁剪版本。

根据 compute_mask() 中指定的裁剪规则。

参数

t (torch.Tensor) – 要裁剪的张量（维度与 default_mask 相同）。
importance_scores (torch.Tensor) – 重要性分数张量（形状与 t 相同），用于计算要裁剪 t 的掩码。此张量中的值指示要裁剪的 t 中相应元素的が重要度。如果未指定或为 None，则将使用张量 t。
default_mask (torch.Tensor, optional) – 如果有，则为先前裁剪迭代产生的掩码。在确定裁剪应作用于张量的哪个部分时需要考虑。如果为 None，则默认为全 1 掩码。

返回

张量 t 的修剪版本。

remove(module)[source]#

从模块中移除修剪重参数化。

名为 name 的已裁剪参数将永久保持裁剪状态，名为 name+'_orig' 的参数将从参数列表中移除。同样，名为 name+'_mask' 的缓冲区将从缓冲区中移除。

注意

修剪本身**不会**被撤销或恢复！

文档