1. 定义

2. Monotonic attention（单调注意力）是注意力机制的一种变体。在一般的注意力机制中，注意力的分布可以灵活地在输入序列的各个位置间跳跃。而单调注意力强制注意力的分配在序列上呈现单调递增或单调递减的特性，也就是说注意力会按照输入序列的顺序依次分配，不会出现回溯或跳跃的情况。

3. 应用场景

4. 语音处理
   • 语音识别：在语音识别任务中，语音信号是一个随时间连续的序列。单调注意力可以确保在将语音信号转换为文字的过程中，对语音的关注是按照时间顺序进行的。例如，当识别一段包含多个单词的语音时，单调注意力会从语音的起始部分开始，按照时间推进依次关注每个可能对应单词的语音片段，不会出现...

Read more

1. 定义

2. Guided attention（引导注意力）是一种在深度学习模型，特别是序列到序列（seq - to - seq）模型和注意力机制相关应用中的技术。它用于对注意力机制的分布进行约束或者引导，使得模型的注意力能够按照预期的模式或者规则进行聚焦，从而更有效地利用信息并提高模型性能。

3. 在语音处理中的应用

4. 语音合成
   • 在语音合成任务中，引导注意力机制可以确保模型在生成语音的过程中，按照正确的时间顺序关注文本信息。例如，当将文本“今天天气很好”转换为语音时，引导注意力可以让模型的注意力从“今天”开始，依次关注每个单词对应的语音特征生成部分，避免注意力在单词之间跳跃混乱，使生成的语音...

Read more

1. 定义
2. 在自然语言处理、信息检索等领域，vocabulary（词汇表）是指在一个特定的文本集合（如一个文档、一个语料库或者一个语言模型的训练集）中出现的所有单词（或其他语言单位，如词素、字符等）的集合。它是对文本中语言单位的一种整理和统计后的结果。
3. 构建过程
4. 收集文本：首先需要有一个文本来源，比如一本小说、一个新闻网站的全部新闻文章或者一个大型的语言模型训练数据集。例如，对于训练一个用于新闻文章分类的语言模型，收集大量的新闻稿件作为文本来源。
5. 分词操作：如果处理的是自然语言文本，通常需要进行分词。对于英语等语言，可以使用空格等分隔符来划分单词；对于汉语等语言，需要使用专门的分词工具。例如...

Read more

1. 定义
2. Teacher forcing是一种在序列生成模型（如循环神经网络，特别是长短期记忆网络LSTM和门控循环单元GRU，以及Transformer架构中的解码器部分）训练过程中使用的技术。它的核心思想是在训练时，使用真实的目标序列（也称为“教师信号”）作为模型下一个时间步的输入，而不是使用模型自身在上一个时间步的预测输出。
3. 工作原理
4. 假设我们有一个序列生成任务，例如机器翻译。我们有一个源语言句子和对应的目标语言句子。在训练模型时，对于目标语言句子的生成部分，在每个时间步，不是将模型上一个时间步预测出来的单词作为下一个时间步的输入，而是直接将真实的目标单词作为输入。
5. 例如，目标句子是...

Read more

梯度剪裁（Gradient Clipping）是一种在深度学习中用于优化训练过程的技术，旨在解决梯度爆炸问题，以下是关于它的详细介绍：

原理

在神经网络的训练过程中，通常使用反向传播算法来计算损失函数对模型参数的梯度，然后根据这些梯度来更新模型参数。然而，在某些情况下，如网络层数较深、训练数据复杂或学习率设置不当等，梯度可能会变得非常大，导致模型参数在更新时出现大幅跳跃，这就是梯度爆炸问题。梯度剪裁通过对梯度进行限制，将其范数约束在一个特定的范围内，从而避免梯度爆炸对模型训练的不良影响。

实现方法

• 基于范数的剪裁：这是最常见的梯度剪裁方法，通常是计算梯度的范数（如L2范数），如果梯度的...

Read more

在自然语言处理和信息论等领域，“perplexity”通常指困惑度，是一种用于衡量语言模型性能的指标，以下是关于它的详细介绍：

定义

困惑度是对语言模型在预测下一个单词或字符时的不确定性的一种量化度量。它基于信息论中的熵（entropy）概念，直观上反映了语言模型对给定文本序列的拟合程度和预测能力。给定一个语言模型(M)和一个文本序列(x_1,x_2,\cdots,x_n)，该文本序列的困惑度定义为：

[PP(x_1,x_2,\cdots,x_n)=2^{-\frac{1}{n}\sum_{i=1}^{n}\log_2 p(x_i|x_1,x_2,\cdots,x_{i-1})}]

其中...

Read more

在深度学习的循环神经网络（RNN）及其变体如长短期记忆网络（LSTM）和门控循环单元（GRU）中，“候选隐藏状态”是一个关键概念，以下是对它的详细介绍：

定义

候选隐藏状态是在计算当前时刻隐藏状态时的一个中间结果，它综合了当前输入和上一时刻隐藏状态经过一定变换后的信息，为最终确定当前时刻隐藏状态提供了基础。

计算方式

• LSTM中的候选隐藏状态：在长短期记忆网络中，候选隐藏状态通常用(\widetilde{C}{t})表示，其计算公式为(\widetilde{C}=\tanh\left(W_{c}\left[h_{t - 1}, x_{t}\right]+b_{c}\right))。其中...

Read more

门控循环单元（Gated Recurrent Unit，GRU）是一种循环神经网络（RNN）的变体，在自然语言处理、语音识别等序列数据处理任务中应用广泛，以下是对它的详细介绍：

基本结构

• 输入层：接收序列数据的当前时刻输入，通常表示为 (x_t)，可以是文本中的一个单词向量、语音信号的一帧特征等。
• 隐藏层：负责处理序列中的长期依赖关系，包含更新门 (z_t)、重置门 (r_t) 和当前时刻隐藏状态 (h_t) 等元素。
• 输出层：根据任务需求生成相应的输出，例如在语言模型中输出下一个单词的概率分布，在情感分析中输出情感类别等。

工作原理

• 更新门（Update Gate）：决定了当前时...

Read more

一、定义

Cross - attention（交叉注意力）是一种在深度学习，特别是在Transformer架构及其衍生架构中广泛使用的注意力机制。它涉及到两个不同的输入序列之间的交互，用于计算一个序列中的元素对另一个序列中元素的注意力权重。

二、在Transformer架构中的位置和作用

1. 架构回顾
2. 在Transformer架构中，主要由多头注意力（Multi - Head Attention）模块等构成。多头注意力模块包含了自注意力（Self - Attention）和交叉注意力两种类型。
3. 自注意力主要用于处理单个序列自身内部元素之间的关系，而交叉注意力用于在两个不同序列之间传递信息。...

Read more

特征空间 是机器学习和数据科学中的核心概念，用于描述将数据映射到数学空间中以便进行分析和建模的过程和结构。以下是对特征空间的详细说明，包括定义、特点、作用和应用。

什么是特征空间？

1. 定义：
   特征空间是由样本的特征组成的多维向量空间。每个维度代表一个特征，空间中的每个点表示一个样本。特征空间的维度取决于数据集中特征的数量。

2. 例如，对于一个包含年龄和收入的二维数据集，其特征空间就是一个二维平面，其中每个点由 ( (年龄, 收入) ) 表示。

3. 表示方式：

4. 数据集通常以特征矩阵 ( X \in \mathbb{R}^{n \times m} ) 表示，其中 ( n ) 是样...

Read more