RTFMVDR¶
- class torchaudio.transforms.RTFMVDR(*args: Any, **kwargs: Any)[源代码]¶
基于相对传递函数 (RTF) 和噪声功率谱密度 (PSD) 矩阵的最小方差无失真响应 (MVDR [Capon, 1969]) 模块。
给定多通道复值频谱 \(\textbf{Y}\)、目标语音的相对传递函数 (RTF) 矩阵或导向向量 \(\bm{v}\)、噪声的 PSD 矩阵 \(\bf{\Phi}_{\textbf{NN}}\) 以及表示参考通道的单热向量 \(\bf{u}\)，该模块计算增强语音的单通道复值频谱 \(\hat{\textbf{S}}\)。该公式定义为
\[\hat{\textbf{S}}(f) = \textbf{w}_{\text{bf}}(f)^{\mathsf{H}} \textbf{Y}(f)\]其中 \(\textbf{w}_{\text{bf}}(f)\) 是第 \(f\) 个频率仓的 MVDR 波束成形权重，\((.)^{\mathsf{H}}\) 表示厄米共轭操作。
波束成形权重通过以下方式计算：
\[\textbf{w}_{\text{MVDR}}(f) = \frac{{{\bf{\Phi}_{\textbf{NN}}^{-1}}(f){\bm{v}}(f)}} {{\bm{v}^{\mathsf{H}}}(f){\bf{\Phi}_{\textbf{NN}}^{-1}}(f){\bm{v}}(f)}\]- 使用
RTFMVDR的教程
- forward(specgram: Tensor, rtf: Tensor, psd_n: Tensor, reference_channel: Union[int, Tensor], diagonal_loading: bool = True, diag_eps: float = 1e-07, eps: float = 1e-08) Tensor[源代码]¶
- 参数
specgram (torch.Tensor) – 多通道复值频谱。形状为 (…, channel, freq, time) 的张量。
rtf (torch.Tensor) – 目标语音的复值 RTF 向量。形状为 (…, freq, channel) 的张量。
psd_n (torch.Tensor) – 噪声的复值功率谱密度 (PSD) 矩阵。形状为 (..., freq, channel, channel) 的张量。
reference_channel (int 或 torch.Tensor) – 指定参考通道。如果 dtype 为
int，则表示参考通道索引。如果 dtype 为torch.Tensor，则其形状为 (..., channel)，其中channel维度是独热编码的。diagonal_loading (bool, 可选) – 如果为
True，则启用对psd_n应用对角加载。 (默认:True)diag_eps (float, 可选) – 用于对角加载的单位矩阵的乘数。仅当
diagonal_loading设置为True时有效。 (默认:1e-7)eps (float, 可选) – 添加到波束形成权重公式分母的值。 (默认:
1e-8)
- 返回
增强的单通道复值频谱，维度为 (..., freq, time)。
- 返回类型
- 使用
