ConformerWav2Vec2PretrainModel

class torchaudio.prototype.models.ConformerWav2Vec2PretrainModel(wav2vec2: Wav2Vec2Model, mask_generator: Module, negative_sampler: Module)

已弃用

警告

此类已从 2.8 版本开始弃用。将在 2.9 版本中删除。此弃用是为将 TorchAudio 迁移到维护阶段的大规模重构工作的一部分。有关更多信息，请参阅 https://github.com/pytorch/audio/issues/3902。

Conformer Wav2Vec2 预训练模型，用于从头开始训练。

注意

要构建模型，请使用其中一个工厂函数 conformer_wav2vec2_base() 或 conformer_wav2vec2_large()

参数 (Args)

wav2vec2 (nn.Module)

基于 Conformer 的 Wav2Vec2 模型，包括特征提取器和 Conformer 编码器组件。

mask_generator (nn.Module)

在训练期间生成掩码预测的掩码生成器。

negative_sampler (nn.Module)

掩码后应用的负采样器。

方法

forward

ConformerWav2Vec2PretrainModel.forward(features: Tensor, audio_lengths: Optional[Tensor] = None) → Tuple[Tensor, Optional[Tensor], Tensor, Tensor]

参数

• features (Tensor) – 形状为 (batch, frame, dim) 的音频特征张量。

• audio_lengths (Tensor 或 None, 可选) – 批次中每个有效音频的有效长度张量。形状：(batch, ) (默认：None)

返回

张量

掩码序列，是形状为 (batch, frame dim) 的概率分布。

Tensor 或 None

如果提供了 lengths 参数，则返回形状为 (batch, ) 的张量，表示时间轴上的有效长度。

张量

掩码索引。

张量

目标，在负采样之前。

张量

负样本。

张量

负样本的索引。

返回类型

(Tensor, Optional[Tensor], Tensor, Tensor, Tensor, Tensor)

工厂函数

conformer_wav2vec2_pretrain_model	已弃用
conformer_wav2vec2_pretrain_base	已弃用
conformer_wav2vec2_pretrain_large	已弃用