正则化（Regularization）是一种在机器学习和统计学中用于防止过拟合的技术，通过向模型引入额外的信息或约束来提高模型在未见数据上的泛化能力。以下是几种常见的正则化方法：

1. L1 正则化（Lasso 回归）

• 在损失函数中加入模型权重的绝对值之和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1}^{n} |w_i| )
• 特点：倾向于将一些权重压缩到零，从而实现特征选择，适合高维数据。

2. L2 正则化（岭回归）

• 在损失函数中加入模型权重的平方和作为惩罚项。
• 公式：( \text{损失函数} + \lambda \sum_{i=1...

Read more

天翼云是中国电信旗下的云计算服务提供商，以下是关于天翼云的一些常见信息：

产品与服务

• 云主机：天翼云提供多种类型的云主机，包括通用型、计算型、内存型、存储型、高性能型等，以满足不同用户的业务需求。例如，通用型云主机适用于一般的网站搭建、企业应用部署等场景；计算型云主机则更适合对CPU计算能力要求较高的应用，如数据处理、高性能计算等 。
• 云存储：提供对象存储、块存储等多种存储服务，可用于存储用户的数据、文件、图片、视频等各类信息，满足企业和个人的数据存储需求。
• 云数据库：支持关系型数据库（如 MySQL、SQL Server、PostgreSQL等）和非关系型数据库（如 Redis、Mo...

Read more

“Goodness of function”可直译为“函数的优良性”，在数学和相关领域中，它常涉及对函数性质和质量的评估考量。以下展开阐述： - 准确性与精确性：函数准确精确地反映变量关系至关重要。如在物理模型的数学函数表达里，牛顿第二定律公式精准描述力、质量与加速度关系，在实验与工程计算中，依此公式准确计算物体运动状态变化，误差极小，此为函数准确性与精确性佳的体现，是衡量函数优良性关键指标，关乎基于函数模型的可靠性及实际应用成效。 - 效率与复杂度平衡：高效且复杂度适宜的函数备受青睐。在算法设计中，搜索算法函数时间复杂度影响运行效率。二分搜索算法时间复杂度为 $O(log n)$，在大...

Read more

1. 张量的定义与基础概念
2. 张量（Tensor）是一个数学对象，可以看作是向量和矩阵的推广。标量是零阶张量，例如一个单独的数字(5)；向量是一阶张量，如(\vec{v}=(v_1,v_2,v_3))；矩阵是二阶张量，例如(A=\begin{bmatrix}a_{11}&a_{12}\a_{21}&a_{22}\end{bmatrix})。更高阶的张量可以有更多的索引。例如，一个三阶张量(T)可以表示为(T_{ijk})，其中(i)、(j)、(k)是索引，用来定位张量中的元素。
3. 在不同的维度下，张量有着不同的物理或几何意义。在物理学中，应力张量是二阶张量，它描述了物体内部的应力...

Read more

1. 定义与作用
2. 激活函数（Activation Function）是神经网络中的一个关键组件。在神经网络中，神经元接收来自其他神经元的输入信号，这些输入信号经过加权求和后，通过激活函数进行非线性变换，产生神经元的输出。它的主要作用是为神经网络引入非线性因素，使神经网络能够拟合复杂的非线性函数关系。如果没有激活函数，无论神经网络有多少层，其本质上都只是一个线性组合模型，无法有效处理复杂的数据分布和任务。
3. 常见类型
4. Sigmoid函数
   • 公式与图像：Sigmoid函数的数学表达式为(y=\frac{1}{1 + e^{-x}})。其函数图像呈S形，值域在((0,1))之间。当(x)趋近于正无穷时...

Read more

1. 偏微分的定义
2. 对于多元函数(z = f(x_1,x_2,\cdots,x_n))，如果我们只考虑函数对其中一个自变量（例如(x_i)）的变化率，而将其他自变量看作常数，那么这个变化率就是函数(z)关于(x_i)的偏导数，记为(\frac{\partial z}{\partial x_i})或(f_{x_i})。从极限的角度来定义，(\frac{\partial z}{\partial x_i}=\lim_{\Delta x_i\to0}\frac{f(x_1,\cdots,x_i+\Delta x_i,\cdots,x_n)-f(x_1,\cdots,x_i,\cdots,x_n)}{...

Read more

1. 定义
2. 链式法则（Chain Rule）是微积分中的一个重要法则，用于计算复合函数的导数。如果有一个复合函数(y = f(g(x)))，那么它的导数(\frac{dy}{dx}=\frac{df}{dg}\cdot\frac{dg}{dx})。也就是说，复合函数的导数是外层函数对内层函数的导数乘以内层函数对自变量的导数。
3. 例如，设(y=(x^2 + 1)^3)，可以把它看作是(y = f(g(x)))的形式，其中(g(x)=x^2+1)，(f(u)=u^3)（这里(u = g(x))）。首先求(\frac{df}{du}=3u^2)，再求(\frac{dg}{dx}=2x)，然后根据链式...

Read more

Backpropagation即反向传播，是一种在神经网络中用于计算梯度的算法，通常用于训练神经网络以最小化损失函数，以下是对其详细介绍：

基本原理

• 前向传播：输入数据通过神经网络的各层进行正向传播，经过一系列的线性变换和激活函数运算，最终得到输出结果。
• 计算损失：将输出结果与真实标签进行比较，通过损失函数计算出预测误差，即损失值。
• 反向传播：从输出层开始，根据损失函数对输出层的偏导数，以及各层之间的权重和激活函数的导数，依次计算出每一层的梯度。然后根据这些梯度，使用优化算法来更新网络中的权重，以减小损失函数的值。

数学推导

• 链式法则：反向传播算法的核心是链式法则，用于计算复合函数...

Read more

梯度下降（Gradient Descent）是一种用于优化目标函数的迭代算法，广泛应用于机器学习和深度学习中，尤其是在最小化损失函数时。其核心思想是通过计算目标函数的梯度（即导数）来确定参数的更新方向，逐步逼近最优解。

梯度下降的基本原理

1. 目标：最小化目标函数 ( J(\theta) )，其中 ( \theta ) 是模型的参数。
2. 梯度：计算目标函数对参数的梯度 ( \nabla J(\theta) )，梯度方向是函数值上升最快的方向。
3. 更新规则：沿着梯度的反方向更新参数，因为梯度下降的目标是最小化函数值。 [ \theta_{\text{new}} = \theta_{\...

Read more

前馈网络（Feedforward Network）是一种常见的人工神经网络架构。在这种网络中，信息从输入层单向流向输出层，其间无反馈回路，神经元分层排列，信号依次传递。它主要包含输入层接收数据、隐藏层处理特征（可多层）及输出层给出结果。其特点有： - 高效计算：因结构简单，计算复杂度低，数据处理快，适处理大规模数据，如图像识别中快速处理像素数据。 - 易于训练：多采用反向传播算法优化权重，基于误差梯度调整权重以减预测误差，能快速收敛达优性能，像语音识别模型可借此高效学习语音特征与模式关联。 - 功能强大：通过合理设计网络结构与参数，可拟合复杂非线性函数关系，在图像、语音、自然语言处理领域...

Read more