Torchaudio 文档

Torchaudio 是一个用于 PyTorch 的音频和信号处理库。它提供了信号和数据处理函数、数据集、模型实现和应用组件。

注意

从 2.8 版本开始，我们已进入维护阶段。因此

• 一些 API 在 2.8 版本中已被弃用，并在 2.9 版本中移除。

• PyTorch 对音频和视频的解码和编码功能已合并到 TorchCodec 中。

请参阅 https://github.com/pytorch/audio/issues/3902 获取更多信息。

教程

---

使用 CUDA CTC Beam Search 解码器进行 AM 推理

主题： Pipelines,ASR,CTC-Decoder,CUDA-CTC-Decoder

了解如何使用 torchaudio.models.decoder.cuda_ctc_decoder 通过 GPU 进行 ASR Beam Search 解码。

CTC 强制对齐 API

主题： CTC,Forced-Alignment

了解如何使用 TorchAudio 的 CTC 强制对齐 API (torchaudio.functional.forced_align)。

多语言数据的强制对齐

主题： Forced-Alignment

了解如何使用 TorchAudio 的 CTC 强制对齐 API (torchaudio.functional.forced_align) 和多语言 Wav2Vec2 模型来对齐多语言数据。

使用限带 sinc 插值进行音频重采样

主题： Preprocessing

了解如何使用 torchaudio.functional.resample 和 torchaudio.transforms.Resample 重采样音频张量。

音频数据增强

主题： Preprocessing

了解如何使用 torchaudio.functional 和 torchaudio.transforms 模块进行数据增强。

音频特征提取

主题： Preprocessing

了解如何使用 torchaudio.functional 和 torchaudio.transforms 模块从波形中提取特征。

音频特征增强

主题： Preprocessing

了解如何使用 torchaudio.functional 和 torchaudio.transforms 模块进行特征增强。

音频数据集

主题： Dataset

了解如何使用 torchaudio.datasets 模块。

使用 Wav2Vec2 进行 AM 推理

主题： ASR,wav2vec2

了解如何使用 Wav2Vec2 (torchaudio.pipelines.Wav2Vec2ASRBundle) 进行声学模型推理。

使用 CTC Beam Search 解码器进行 LM 推理

主题： Pipelines,ASR,wav2vec2,CTC-Decoder

了解如何使用词典和语言模型，通过 torchaudio.models.decoder.ctc_decoder 进行 ASR Beam Search 解码。

使用 Wav2Vec2 进行强制对齐

主题： Pipelines,Forced-Alignment,wav2vec2

了解如何使用 Wav2Vec 2 (torchaudio.pipelines.Wav2Vec2ASRBundle) 对齐文本到语音。

使用 Tacotron2 进行文本到语音转换

主题： Pipelines,TTS-(Text-to-Speech)

了解如何使用 Tacotron2 (torchaudio.pipelines.Tacotron2TTSBundle) 从文本生成语音。

使用 MVDR 波束成形进行语音增强

主题： Pipelines,Speech-Enhancement

了解如何使用 MVDR Beamforming 提高语音质量。

使用 Hybrid Demucs 进行音乐源分离

主题： Pipelines,Source-Separation

了解如何使用预训练的 Hybrid Demucs (torchaudio.pipelines.SourceSeparationBundle) 进行音乐源分离。

Torchaudio-Squim：TorchAudio 中的非侵入式语音评估

主题： Pipelines,Speech Assessment,Speech Enhancement

了解如何使用预训练的 TorchAudio-SQUIM 模型 (torchaudio.pipelines.SQUIMObjective) 估计主观和客观指标。

引用 torchaudio

如果您觉得 torchaudio 有用，请引用以下论文：

• Hwang, J., Hira, M., Chen, C., Zhang, X., Ni, Z., Sun, G., Ma, P., Huang, R., Pratap, V., Zhang, Y., Kumar, A., Yu, C.-Y., Zhu, C., Liu, C., Kahn, J., Ravanelli, M., Sun, P., Watanabe, S., Shi, Y., Tao, T., Scheibler, R., Cornell, S., Kim, S., & Petridis, S. (2023). TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch. arXiv preprint arXiv:2310.17864

• Yang, Y.-Y., Hira, M., Ni, Z., Chourdia, A., Astafurov, A., Chen, C., Yeh, C.-F., Puhrsch, C., Pollack, D., Genzel, D., Greenberg, D., Yang, E. Z., Lian, J., Mahadeokar, J., Hwang, J., Chen, J., Goldsborough, P., Roy, P., Narenthiran, S., Watanabe, S., Chintala, S., Quenneville-Bélair, V, & Shi, Y. (2021). TorchAudio: Building Blocks for Audio and Speech Processing. arXiv preprint arXiv:2110.15018.

BibTeX 格式

@misc{hwang2023torchaudio,
   title={TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch},
   author={Jeff Hwang and Moto Hira and Caroline Chen and Xiaohui Zhang and Zhaoheng Ni and Guangzhi Sun and Pingchuan Ma and Ruizhe Huang and Vineel Pratap and Yuekai Zhang and Anurag Kumar and Chin-Yun Yu and Chuang Zhu and Chunxi Liu and Jacob Kahn and Mirco Ravanelli and Peng Sun and Shinji Watanabe and Yangyang Shi and Yumeng Tao and Robin Scheibler and Samuele Cornell and Sean Kim and Stavros Petridis},
   year={2023},
   eprint={2310.17864},
   archivePrefix={arXiv},
   primaryClass={eess.AS}
}

@article{yang2021torchaudio,
  title={TorchAudio: Building Blocks for Audio and Speech Processing},
  author={Yao-Yuan Yang and Moto Hira and Zhaoheng Ni and
          Anjali Chourdia and Artyom Astafurov and Caroline Chen and
          Ching-Feng Yeh and Christian Puhrsch and David Pollack and
          Dmitriy Genzel and Donny Greenberg and Edward Z. Yang and
          Jason Lian and Jay Mahadeokar and Jeff Hwang and Ji Chen and
          Peter Goldsborough and Prabhat Roy and Sean Narenthiran and
          Shinji Watanabe and Soumith Chintala and
          Vincent Quenneville-Bélair and Yangyang Shi},
  journal={arXiv preprint arXiv:2110.15018},
  year={2021}
}