分类目录归档：基础设施

领域自适应-

157 views

定义与概念
领域自适应（Domain Adaptation）是机器学习中的一个重要研究方向，主要用于解决当训练数据（源域）和测试数据（目标域）的分布不同时，如何有效利用源域数据训练出在目标域也能良好工作的模型的问题。例如，在图像分类任务中，源域可能是在晴天条件下拍摄的交通标志图像，而目标域是在雨天条件下拍摄的交通标志图像。由于光线、天气等因素的影响，两个域的数据分布存在差异。
主要方法
基于特征的方法
- 特征变换：通过找到一种变换方式，将源域和目标域的数据映射到一个公共的特征空间，使得在这个空间中两个域的数据分布尽可能相似。例如，使用主成分分析（PCA）等降维技术，将源域和目标域...

模型攻击-

149 views

定义与背景
模型攻击（Model Attack）是指攻击者通过各种手段干扰、欺骗或破坏机器学习模型，使其产生错误的输出。随着机器学习模型在众多关键领域（如金融、医疗、安全等）的广泛应用，模型攻击成为一个日益重要的研究课题。攻击者的动机可能包括获取经济利益（如在金融欺诈中）、破坏系统的正常运行（如干扰自动驾驶系统）或者获取隐私信息等。
常见攻击类型
对抗攻击（Adversarial Attacks）
- 原理：在对抗攻击中，攻击者通过在原始输入数据上添加微小的、精心设计的扰动，使得模型产生错误的输出。这些扰动通常是人眼难以察觉的。例如，在图像分类任务中，对于一张正确分类为“猫”的图像，攻击者...

可解释性人工智能-

169 views

定义与背景
可解释性人工智能（Explainable AI，XAI）是人工智能领域的一个重要分支，旨在使人工智能模型（尤其是复杂的深度学习模型）的决策过程和结果能够被人类理解。随着深度学习模型在各种复杂任务（如图像识别、自然语言处理等）中取得巨大成功，这些模型往往是复杂的黑盒模型，例如深度神经网络具有大量的参数和复杂的层次结构，很难直观地理解它们是如何做出决策的。而在许多关键领域，如医疗、金融、法律等，仅仅知道模型的输出结果是不够的，还需要理解模型为什么做出这样的决策，这就催生了XAI的发展。
主要方法
特征重要性方法：这种方法用于衡量输入特征对于模型决策的相对重要性。例如，在一个预测...

异常检测-

149 views

异常检测（Anomaly Detection）是数据挖掘和机器学习领域中的一个重要任务，用于识别数据集中不符合预期模式或行为的数据点。以下是详细介绍：

一、基本概念

定义
异常检测旨在发现那些与正常数据模式显著不同的数据实例。这些异常点可能是由于系统故障、欺诈行为、网络攻击、数据录入错误等多种原因导致的。例如，在信用卡交易数据中，一笔异常大的交易或者在非寻常地点进行的交易可能是信用卡被盗刷的迹象；在工业生产过程中，设备的某个传感器读数突然偏离正常范围，可能表示设备出现故障。
正常数据与异常数据的对比
正常数据通常遵循一定的分布规律或模式。以人体体温为例，正常人体温一般在36 - 37摄...

生成对抗网络-

178 views

定义
生成对抗网络（Generative Adversarial Network，简称GAN）是一种深度学习架构，由生成器（Generator）和判别器（Discriminator）两个相互对抗的神经网络组成。生成器的目的是生成尽可能逼真的数据，以“欺骗”判别器；判别器的任务是区分输入的数据是来自真实数据集还是由生成器生成的，通过这种对抗的方式，两个网络不断地进行训练并提升性能。
网络结构和工作原理
生成器（Generator）
- 生成器通常是一个由神经网络构建的函数，它接收一个随机噪声向量（通常是低维的）作为输入，通过一系列的神经网络层（如全连接层、反卷积层等，在图像生成任务中...

基础模型-

140 views

定义

Foundation model（基础模型）是一种大规模的机器学习模型，它通过在海量的数据上进行训练，通常采用自监督学习或半监督学习的方式，从而能够适应广泛的下游任务。

特点

涌现性：由于训练数据未经过人工明确标注，模型会涌现出一些未被预先设定的特性和能力。例如，一个在大规模语言数据集上训练的模型，可能会自行学会生成故事或进行算术运算，而无需明确编程让其具备这些功能.
同质化：指在许多领域中都使用相同的方法，这虽然能带来强大的进步，但也存在“单点故障”的可能性。比如，很多基础模型都基于相似的架构和训练方式，一旦这种架构或训练方式存在缺陷，可能会影响到多个应用领域.

常见类...

下游任务-

190 views

定义
在机器学习和自然语言处理等领域，“downstream tasks”（下游任务）是相对于“pre - training”（预训练）而言的。预训练是在大规模通用数据上对模型进行初步训练，学习通用的知识和模式。而下游任务是指在预训练模型的基础上，针对特定的应用场景和具体的目标进行的任务，这些任务通常数据规模较小，并且有明确的、具体的输出要求。
例如，在自然语言处理中，预训练语言模型（如BERT）在大规模文本数据上学习语言知识后，文本分类、情感分析、命名实体识别等具体应用就是下游任务。
下游任务的类型（以自然语言处理为例）
文本分类（Text Classification）
- 任...

预训练-

131 views

定义
“pre - train”（预训练）在机器学习和自然语言处理等领域是一种重要的训练策略。它是指在大规模的通用数据上先对模型进行初步训练，使模型学习到数据中的一般特征和模式，得到一个具有一定泛化能力的初始模型状态。
例如，在自然语言处理中，预训练语言模型可以在大量的文本语料（如互联网文本、书籍、新闻等）上进行训练，这个过程中模型学习到词汇的语义、语法结构、句子之间的关系等知识。
预训练的方法和技术
无监督学习方法
- 自监督学习（Self - supervised Learning）：这是预训练中常用的方法。模型通过自己预测输入数据的一部分来进行学习。例如，在语言模型的预训练中...

标量-

136 views

在数学及相关领域中，“scalar”通常指“标量”，以下是关于标量的详细介绍：

1. 定义

标量是只有大小，没有方向的量。与之相对的是向量（vector），向量既有大小又有方向。例如，常见的温度、质量、时间、长度等物理量都是标量。像室内的温度是25摄氏度，这里的“25摄氏度”仅体现了数值大小，不存在方向的概念，所以温度就是一个标量；再比如一个物体的质量是5千克，“5千克”同样只是一个表示多少的数值，属于标量范畴。

2. 与向量的区别

几何表示差异：
- 向量在几何上通常用有向线段来表示，线段的长度表示向量的大小（模长），箭头所指的方向表示向量的方向。比如在平面直角坐标系中，向量可以用坐...

审计框架-

181 views

定义
审计框架（Audit Framework）：是一套用于系统地规划、执行、监督和报告审计工作的结构化体系。它包括一系列的政策、程序、方法和标准，目的是确保审计过程的科学性、公正性和有效性。在传统审计领域，主要用于财务审计等方面，检查财务报表是否真实、准确地反映了企业的财务状况。
机器学习（Machine Learning）：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在数据挖掘、自然语言处理、图像识别等众多领域有广泛应用。
...