源数据集（Source Dataset）是指在进行数据分析、机器学习、数据挖掘等任务时，最初获取的未经处理或仅经过初步处理的原始数据集合，以下是关于它的详细介绍：

特点

• 原始性：它是最原始的数据记录，保留了数据的初始状态和所有细节，包括可能存在的噪声、错误、冗余等信息。
• 规模性：其规模大小不一，可能是少量的实验数据，也可能是海量的互联网数据或企业业务数据等。
• 多样性：数据类型丰富多样，涵盖结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML、JSON格式的数据）和非结构化数据（如文本、图像、音频、视频等）。

常见类型

• 图像数据集：如MNIST数据集，由手写数字的图像组成...

Read more

Softmax回归是一种用于多分类问题的广义线性回归模型，在机器学习和深度学习领域中有着广泛的应用，以下是对其详细介绍：

基本原理

• Softmax回归将输入特征向量映射为一个类别概率分布，通过计算每个类别的概率，来预测输入样本属于各个类别的可能性。
• 假设输入特征向量为(\mathbf{x})，模型的参数为(\mathbf{W})和(\mathbf{b})，其中(\mathbf{W})是权重矩阵，(\mathbf{b})是偏置向量。对于一个具有(C)个类别的多分类问题，Softmax回归的计算公式如下： [ \begin{align} \mathbf{z}&=\mathbf{W}...

Read more

特征抽取（Feature Extraction）是一种从原始数据中自动提取具有代表性和区分性特征的技术，广泛应用于机器学习、数据挖掘、计算机视觉、自然语言处理等领域，以下是对其详细介绍：

概念及目的

• 旨在将原始数据转换为更适合后续分析和处理的形式，通过对原始数据进行数学变换或映射，提取出能够有效描述数据本质特征的低维向量表示，从而减少数据的冗余和噪声，提高算法的效率和性能。

方法

• 基于统计的方法
  • 主成分分析（PCA）：通过对数据协方差矩阵进行特征分解，找到数据的主成分，将原始数据投影到由主成分构成的低维空间中，实现数据的降维和特征提取。常用于数据可视化、图像压缩等领域。
  • 线性判别分...

Read more

1. SGAN（Stacked Generative Adversarial Networks）定义

2. SGAN是一种生成对抗网络（GAN）的架构变体。它主要的特点是采用堆叠（Stacked）的方式构建生成器和判别器，通过多层次的结构来生成更复杂的样本或对数据进行更精细的处理。

3. 结构和工作原理

4. 多层生成器结构
   • SGAN的生成器由多个层次组成。例如，在图像生成任务中，每一层可能负责生成图像的不同层次细节。最底层可能生成一些基本的纹理或简单的形状，随着层次的上升，逐渐添加更复杂的细节，如物体的轮廓、颜色的变化等。这种分层生成的方式类似于构建一个多层的神经网络，通过逐步的变换将输入的噪声向量...

Read more

1. WGAN（Wasserstein GAN）简介
2. WGAN是生成对抗网络（GAN）的一种改进版本。传统GAN在训练过程中存在一些问题，如训练不稳定、生成样本质量不高以及模式崩溃（生成器只能生成有限的几种模式）等。WGAN通过引入Wasserstein距离（推土机距离）作为生成器和判别器之间的损失函数，有效地缓解了这些问题。

3. 它的核心思想是使用Wasserstein距离来衡量生成数据分布和真实数据分布之间的差异，从而使生成器能够更好地学习到真实数据的分布特征。

4. WGAN的结构与原理

5. 判别器（Critic）的变化
   • 在传统GAN中，判别器是一个二分类器，输出样本是来自真实数据还是生成数...

Read more

1. 定义
2. Wasserstein距离，也被称为“推土机距离”（Earth - Mover's Distance，EMD），用于衡量两个概率分布之间的距离。从直观上来说，它可以被理解为将一个概率分布转换为另一个概率分布所需要的最小“工作量”。对于两个概率分布(P)和(Q)，假设存在一个联合分布(\gamma(x,y))，其边缘分布分别是(P)和(Q)，那么(Wasserstein)距离（以(p = 1)为例）定义为(W_1(P,Q)=\inf_{\gamma \in \Pi(P,Q)}\sum_{x,y}\vert x - y\vert\gamma(x,y))，其中(\Pi(P,Q))是所有...

Read more

1. 定义
2. JS divergence（Jensen - Shannon divergence）即詹森 - 香农散度，是一种衡量两个概率分布之间相似性的度量方法。它基于信息论中的KL散度（Kullback - Leibler divergence）构建。对于两个概率分布(P)和(Q)，首先定义(M=\frac{1}{2}(P + Q))，那么JS散度的计算公式为(JSD(P||Q)= \frac{1}{2}KL(P||M)+\frac{1}{2}KL(Q||M))，其中(KL)散度(KL(A||B)=\sum_{x}A(x)\log\frac{A(x)}{B(x)})（在离散情况下）。本质上...

Read more

1. 定义
2. 正态分布（Normal Distribution），也称为高斯分布（Gaussian Distribution），是一种非常重要的概率分布。它的概率密度函数是一个钟形曲线，其数学表达式为：(f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x - \mu)^{2}}{2\sigma^{2}}})，其中(\mu)是均值（mean），它决定了分布的中心位置；(\sigma)是标准差（standard deviation），它决定了分布的宽度或者说离散程度。当(x = \mu)时，函数取得最大值，曲线关于(x=\mu)对称。
3. 特征
4. 对称性：正态分布的...

Read more

BigGAN 概述

1. 定义与背景 BigGAN 是生成对抗网络（GAN）领域中具有重要影响力的一种架构，旨在生成高分辨率、高质量且多样化的图像。它建立在传统 GAN 的基础之上，通过一系列创新的设计和改进来克服以往 GAN 在生成大规模、逼真图像时面临的诸多难题，比如生成图像的质量有限、容易出现模式崩溃（生成图像种类单一）以及难以控制生成内容等问题。

2. 核心目标 其核心目标是能够根据给定的随机噪声向量以及可选的类别条件信息，生成出与真实图像在视觉上高度相似、细节丰富并且具有丰富多样性的图像，涵盖人脸、动物、风景等各类常见的图像类别，在图像生成任务中展现出强大的性能，为众多需要高质量图...

Read more

一、Progressive GAN（渐进式生成对抗网络）概述

1. 定义与背景
2. Progressive GAN是生成对抗网络（GAN）的一种高级变体。GAN主要由生成器（Generator）和判别器（Discriminator）组成，通过两者的对抗训练来生成数据。而Progressive GAN在GAN的基础上，创新性地采用了渐进式的训练方法，以生成更高质量的图像等数据。

3. 传统GAN在生成高分辨率图像时会面临一些问题，比如训练不稳定、生成的图像质量不高（容易出现模糊、细节缺失等情况）。Progressive GAN的出现就是为了解决这些问题，它能够生成具有丰富细节、高分辨率的图像，例如生成...

Read more