RNNTBeamSearch¶

class torchaudio.models.RNNTBeamSearch(model: RNNT, blank: int, temperature: float = 1.0, hypo_sort_key: Optional[Callable[[Tuple[List[int], Tensor, List[List[Tensor]], float]], float] = None, step_max_tokens: int = 100)[源代码]¶

RNN-T 模型的束搜索解码器。

另请参阅

参数

model (RNNT) – 要使用的 RNN-T 模型。
blank (int) – 词汇表中 blank 标记的索引。
temperature (float, optional) – 应用于联合网络输出的温度。值越大，样本越均匀。 (默认: 1.0)
hypo_sort_key (Callable[[Hypothesis], float] or None, optional) – 用于对假设进行排名的可调用对象，该对象为给定的假设计算分数。如果为 None，则默认为返回假设分数按 token 序列长度归一化的可调用对象。 (默认: None)
step_max_tokens (int, optional) – 每个输入时间步发出的最大 token 数。 (默认: 100)

使用 RNNTBeamSearch 的教程: 使用 Emformer RNN-T 进行在线 ASR

使用 Emformer RNN-T 进行在线 ASR

使用 Emformer RNN-T 进行设备端 AV-ASR

使用 Emformer RNN-T 进行设备端 AV-ASR

方法¶

RNNTBeamSearch.forward(input: Tensor, length: Tensor, beam_width: int) → List[Tuple[List[int], Tensor, List[List[Tensor]], float]][源代码]¶

对给定的输入序列执行束搜索。

T: 帧数；D: 每帧的特征维度。

参数

返回

束搜索找到的前 beam_width 个假设。

返回类型

List[Hypothesis]

以流模式对给定的输入序列执行束搜索。

T: 帧数；D: 每帧的特征维度。

参数

input (torch.Tensor) – 输入帧序列，形状为 (T, D) 或 (1, T, D)。
length (torch.Tensor) – 输入序列中的有效帧数，形状为 () 或 (1,)。
beam_width (int) – 搜索过程中使用的束大小。
state (List[List[torch.Tensor]] or None, optional) – 表示先前调用中生成的转录网络内部状态的张量列表。 (默认: None)
hypothesis (List[Hypothesis] or None) – 先前调用中用于启动搜索的假设。 (默认: None)

返回

返回类型

(List[Hypothesis], List[List[torch.Tensor]])

torchaudio.models.Hypothesis¶

RNN-T 束搜索解码器生成的假设，表示为 (tokens, prediction network output, prediction network state, score) 的元组。