1. 定义

2. “feature dimension”通常指的是特征维度。在机器学习和数据分析的语境中，数据样本通常是由多个特征（features）来描述的，而特征维度就是这些特征的数量或者说用于表示数据的每个样本的向量空间的维度。

3. 示例说明

4. 假设我们要对一群学生的学习情况进行分析，我们收集了每个学生的年龄、成绩、学习时间这三个特征的数据。那么这里的特征维度就是3，因为每个学生的数据可以用一个三维向量来表示，比如一个学生的数据可以表示为[18（年龄）, 85（成绩）, 5（学习时间，单位：小时）]。

5. 在不同场景下的作用

6. 数据可视化：当特征维度较低（一般不超过3维）时，我们可以比较...

Read more

位置编码（Positional Encoding）是在处理序列数据时，为了让模型能够感知序列中元素的位置信息而引入的一种技术，在Transformer架构等深度学习模型中具有重要作用，以下是具体介绍：

背景与作用

• 在处理序列数据如自然语言文本时，模型需要理解每个元素在序列中的位置信息。然而，自注意力机制本身对序列中元素的位置是不敏感的，位置编码就是为了给模型提供这种位置信息，使模型能够更好地捕捉序列的顺序和结构。

常见方法

• 绝对位置编码
  • 正弦余弦位置编码：这是Transformer中使用的一种经典位置编码方式。它通过使用正弦和余弦函数来生成位置编码向量。对于序列中的每个位置 (po...

Read more

1. 定义

2. 泰勒展开（Taylor Expansion）是一种用函数在某一点的信息来描述其附近取值的数学方法。它的基本思想是将一个复杂的函数表示为一个无穷级数的和，这个无穷级数是由函数在某一点的各阶导数构成的。

3. 对于一个函数(f(x))，如果它在点(x = a)处具有(n)阶导数，那么它在(a)点附近可以展开为泰勒级数：(f(x)=\sum_{n = 0}^{\infty}\frac{f^{(n)}(a)}{n!}(x - a)^{n})，其中(f^{(n)}(a))表示(f(x))在(a)点的(n)阶导数，(n!)是(n)的阶乘。

4. 泰勒多项式（有限项展开）

5. 在实际应用中，通常...

Read more

1. 定义和特点
2. 线性激活函数（Linear Activation Function）是一种在神经网络中用于神经元输出计算的函数。它的基本形式为(y = mx + b)，其中(x)是神经元的输入，(m)是斜率（权重），(b)是截距（偏置）。从数学角度看，它的输出是输入的线性变换。例如，在一个简单的神经元模型中，如果输入是(x)，权重是(w)，偏置是(b)，那么使用线性激活函数时，神经元的输出(y = wx + b)。

3. 这种激活函数的特点是它不会引入非线性因素。在神经网络的多层结构中，如果所有神经元都使用线性激活函数，那么整个神经网络本质上相当于一个线性回归模型。因为多个线性变换的组合仍然是...

Read more

1. Xavier初始化的定义

2. Xavier初始化（Xavier Initialization）也称为Glorot初始化，是一种在神经网络中用于初始化权重的方法。它的目的是帮助缓解深度神经网络训练过程中的梯度消失和梯度爆炸问题，使得网络能够更有效地学习。

3. 原理及数学基础

4. 基于方差一致性假设：Xavier初始化假设在一个神经网络层中，输入和输出的方差应该保持一致。对于一个线性层（如全连接层），假设输入为(x)，权重为(W)，输出为(y = Wx + b)（(b)为偏置，在这里暂不重点考虑偏置对初始化的影响）。根据概率论中的方差性质，(Var(y)=Var(Wx)=E[W]^2Var(x...

Read more

1. 定义

2. 在统计学中，正向方差（Positive Variance）并不是一个标准的术语，但如果从字面理解，它可能是指方差计算结果为正值的情况。方差是用来衡量一组数据离散程度的统计量。对于一个样本数据集合(x_1,x_2,\cdots,x_n)，其样本方差(s^2)的计算公式为(s^2=\frac{1}{n - 1}\sum_{i = 1}^{n}(x_i-\overline{x})^2)，其中(\overline{x})是样本均值。由于平方运算的存在，方差通常是大于等于0的。当数据点不完全相同（即数据存在一定的离散性）时，方差大于0，这或许可以被看作是一种“正向方差”的情况。

3. 与数...

Read more

1. 基本概念

2. 自动思维链（Auto - CoT）是一种新兴的自然语言处理技术，用于提升语言模型在复杂推理任务中的性能。它的核心思想是自动生成一系列连贯的思维步骤，即思维链（Chain - of - Thought，CoT），以帮助语言模型更好地解决需要推理的问题。思维链就像是解决问题的路线图，引导语言模型从问题出发，通过逐步推理得出答案。

3. 自动生成思维链的流程

4. 问题分解与示例抽取：首先，Auto - CoT会对大量的训练问题进行分析。对于每个问题，它尝试找到合适的推理示例。这些示例可以从已有的高质量问答数据、学术文献、教程等多种渠道获取。例如，在数学问题领域，从数学教材中的例题及其...

Read more

1. 定义

2. 梯度消失（Gradient Vanishing）是指在深度神经网络的反向传播过程中，梯度（用于更新模型参数的信号）变得越来越小，趋近于零的现象。这使得模型参数更新缓慢，甚至无法有效更新，导致训练过程效率低下，模型难以收敛到一个较好的状态。例如，在一个很深的多层感知机（MLP）中，随着反向传播的进行，梯度可能会在逐层传递时逐渐衰减，最终导致底层的神经元几乎无法更新。

3. 产生原因

4. 激活函数的选择：许多传统的激活函数，如Sigmoid函数和Tanh函数，在其输入值处于某些区间时，导数非常小。以Sigmoid函数$f(x)=\frac{1}{1 + e^{-x}}$为例，当$x$的...

Read more

1. 定义

2. 梯度爆炸（Gradient Explosion）是指在训练深度神经网络时，计算得到的梯度值变得非常大，使得模型参数的更新量过大，从而导致训练过程不稳定甚至无法收敛的现象。例如，在反向传播算法中，梯度是用于更新神经网络权重的重要依据。如果梯度爆炸发生，权重可能会在一次更新中变得极大，这就像在一个方向上迈出了巨大的、不合理的一步，导致模型无法正常学习。

3. 产生原因

4. 深度神经网络结构：在非常深的神经网络中，由于梯度在反向传播过程中是通过链式法则层层相乘计算得到的。如果每一层的梯度都大于1，那么随着层数的增加，梯度就会以指数形式增长。例如，假设一个有100层的神经网络，每层的梯度为...

Read more

1. 定义

2. 多层感知机（Multilayer Perceptron，MLP）是一种前馈神经网络，它由多个神经元组成，这些神经元分布在不同的层次中。一个典型的MLP包括输入层、一个或多个隐藏层和输出层。输入层接收外部数据，如在图像分类任务中，输入层的神经元数量可能与图像的像素数量有关；隐藏层用于对输入数据进行特征提取和转换，每个隐藏层的神经元通过权重与前一层的神经元相连，并通过激活函数进行非线性变换；输出层则根据任务的要求输出最终结果，例如在分类任务中输出类别概率，在回归任务中输出预测值。

3. 结构组成

4. 输入层：输入层神经元的数量取决于输入数据的特征数量。例如，在一个预测房屋价格的任务中，...

Read more