分类目录归档：自研课程

Transformer 架构-视频文字

120 views

Transformer 架构是一种基于自注意力机制（Self-Attention）的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成、文本分类等。它由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出，彻底改变了传统的序列建模方法（如 RNN 和 LSTM）。

以下是 Transformer 架构的核心组成部分和工作原理：

1. 核心思想

Transformer 的核心思想是完全依赖注意力机制来处理序列数据，摒弃了传统的循环神经网络（RNN）结构。它通过并行计算和全局依赖建模，显著提高了训练效率和模型性能。

...

梯度下降-视频文字

149 views

好的！以下是简化版的梯度下降说明，避免公式和代码：

梯度下降是什么？

梯度下降是一种优化算法，用来找到使目标函数（比如损失函数）最小的参数值。它的核心思想是通过不断调整参数，沿着函数值下降最快的方向逐步逼近最小值。

梯度下降的工作原理

起点：从一个随机的参数值开始。
计算方向：计算目标函数在当前参数值处的梯度（即函数值变化最快的方向）。
更新参数：沿着梯度的反方向（即下降方向）调整参数值。
重复：不断重复上述过程，直到函数值接近最小值或达到预设的迭代次数。

梯度下降的变种

批量梯度下降：
每次更新参数时使用全部数据计算梯度。
优点：稳定。
缺点：计算慢，尤其是数据量很大时。...

AI知识体系概述

209 views

AI（人工智能）知识体系包含多个重要方面：

一、机器学习（Machine Learning）

定义
机器学习是多领域交叉学科，涉及概率论、统计学等多门学科，它研究计算机如何模拟人类学习行为，获取新知识和技能，优化自身性能。
类型
监督学习（Supervised Learning）
- 有标记好的训练数据集，例如图像分类任务中图像有类别标签。模型学习输入特征和输出标签的关系，算法有决策树、支持向量机、多层感知机（分类）、线性回归（数值预测）等。
无监督学习（Unsupervised Learning）
- 训练数据无标签，如聚类任务中模型根据数据相似性划分簇。常见算法有K...