作者文章归档:course

偏差-


  1. 偏差(Bias)的概念
  2. 在机器学习领域,模型的偏差是指模型预测值与真实值之间的系统性差异。简单来说,偏差反映了模型本身的拟合能力,即模型在学习数据模式时是否存在某种倾向性的错误。例如,假设真实的数据分布是一个复杂的二次函数曲线,但我们使用一个简单的线性模型去拟合,这个线性模型就会因为其自身结构的限制,存在一种固定的、偏离真实值的倾向,这就是高偏差。
  3. 高偏差模型的特点与表现
  4. 欠拟合(Underfitting)现象:高偏差模型通常会出现欠拟合问题。这意味着模型过于简单,无法捕捉到数据中的复杂模式和细节。以图像分类任务为例,如果使用一个仅包含一层且神经元数量很少的神经网络来分类具有多种复杂特...

Read more

填充-


  1. 定义与概念
  2. 在深度学习领域,特别是卷积神经网络(CNN)中,“padding”(填充)是一种操作。它是指在输入数据(通常是图像、文本序列等)的边缘添加额外的像素(对于图像)或元素(对于序列)。例如,在一个二维图像卷积操作前,在图像的四周添加一圈像素值,这些添加的像素就是填充。

  3. 目的和作用

  4. 保持输出特征图尺寸:在卷积操作中,不使用填充时,输出特征图的尺寸会随着卷积操作而逐渐减小。例如,对于一个大小为(n\times n)的输入图像,使用大小为(k\times k)的卷积核,步长为(1),若不进行填充,每次卷积操作后,输出特征图的边长会减少((k - 1))。通过填充合适数量的像素...

Read more

步长-


“stride”这个词在不同的语境中有不同的含义,在计算机科学,特别是深度学习领域以及日常用语中有以下解释:

一、在深度学习(卷积神经网络 - CNN)中的含义

  1. 定义
  2. 在卷积神经网络中,“stride”(步长)是指卷积核在输入数据(如图像、序列等)上滑动的步长大小。它决定了卷积操作后输出特征图(Feature Map)的尺寸。例如,在一个二维图像的卷积操作中,卷积核从左上角开始,按照指定的步长向右和向下滑动,对覆盖的区域进行卷积计算。

  3. 对输出特征图尺寸的影响

  4. 对于输入数据大小为(W_{in})(宽度)、(H_{in})(高度),卷积核大小为(k)(假设为正方形卷积核),步长为(...

Read more

弗罗贝尼乌斯范数-


  1. 定义
  2. Frobenius范数(弗罗贝尼乌斯范数)是一种矩阵范数,用于衡量矩阵的大小或“长度”。对于一个(m\times n)的矩阵(A=(a_{ij})),它的Frobenius范数定义为(\left\lVert A\right\rVert_F=\sqrt{\sum_{i = 1}^{m}\sum_{j = 1}^{n}\vert a_{ij}\vert^2})。例如,对于矩阵(A = \begin{bmatrix}1&2\3&4\end{bmatrix}),其Frobenius范数(\left\lVert A\right\rVert_F=\sqrt{1^2 + 2^2...

Read more

哈达码积-


  1. 定义
  2. 哈达码积(Hadamard product)也称为元素对应乘积,是一种特殊的矩阵乘法。对于两个相同维度的矩阵(A=(a_{ij}))和(B=(b_{ij})),它们的哈达码积(A\circ B)是一个同样维度的矩阵(C=(c_{ij})),其中(c_{ij}=a_{ij}b_{ij})。例如,若(A = \begin{bmatrix}1&2\3&4\end{bmatrix}),(B=\begin{bmatrix}5&6\7&8\end{bmatrix}),则(A\circ B=\begin{bmatrix}1\times5&2\times6...

Read more

对称矩阵-


  1. 定义与基本性质
  2. 定义:对于一个方阵(A=(a_{ij})),如果(a_{ij}=a_{ji}),对所有的(i)和(j)都成立,那么矩阵(A)就是对称矩阵。例如,(A = \begin{bmatrix}1&2&3\2&4&5\3&5&6\end{bmatrix})是一个对称矩阵,因为(a_{12}=a_{21}=2),(a_{13}=a_{31}=3),(a_{23}=a_{32}=5)。
  3. 性质
    • 对称矩阵的转置等于它本身,即(A = A^T)。这是对称矩阵的本质特征。
    • 对称矩阵的主对角线元素可以是任意实数,主对角线就像一面“镜子”,使得矩...

Read more

特殊向量-


  1. 零向量
  2. 定义:在向量空间中,所有分量都为零的向量称为零向量。例如,在二维向量空间中,零向量表示为(\vec{0}=(0,0)),在三维向量空间中为(\vec{0}=(0,0,0))。
  3. 性质:零向量是唯一的。对于任意向量(\vec{v}),都有(\vec{v}+\vec{0}=\vec{v}),并且(0\cdot\vec{v}=\vec{0})(这里第一个(0)是标量(0),第二个(\vec{0})是零向量)。它在向量空间的运算中起到类似数字运算中(0)的作用。例如,在求解线性方程组(A\vec{x}=\vec{b})时,如果(\vec{b}=\vec{0}),这个方程组就是齐次线性方程...

Read more

特殊矩阵


  1. 对角矩阵
  2. 定义:对角矩阵是一种方阵,除了主对角线(从左上角到右下角的对角线)上的元素外,其余元素都为零。例如,一个(3\times3)的对角矩阵(A)可以写成(A = \begin{bmatrix}a_{11}&0&0\0&a_{22}&0\0&0&a_{33}\end{bmatrix})。
  3. 性质和应用:对角矩阵在矩阵乘法运算中有特殊的优势。当对角矩阵与另一个矩阵相乘时,相当于对另一个矩阵的行或列进行缩放。假设(A)是对角矩阵,(B)是一个(n\times m)的矩阵,那么(AB)的结果是将(B)的每一行按照(A)主对角线上对应的元素进行...

Read more

扭曲空间-


  1. 线性代数基础概念与扭曲空间的联系
  2. 向量空间:线性代数主要研究向量空间。在常规的三维欧几里得空间(这是一种“未扭曲”的空间概念)中,向量可以用坐标来表示,如((x,y,z))。向量空间具有加法和数乘运算等基本性质。而在扭曲空间中,向量的概念变得更加复杂。例如,在一个弯曲的二维曲面(如球面)上,切向量的定义依赖于曲面的局部几何。我们可以把球面上某一点的切向量看作是在该点处与球面“相切”的向量,它所在的“平面”是曲面在该点的切平面。
  3. 基向量和坐标变换:在线性代数中,基向量是用来表示向量空间的基本框架。在欧几里得空间中,我们可以很方便地选择标准基向量,如在三维空间中的(\vec{i}=(1,0...

Read more