LLaMA - Factory是一个用于轻松高效微调大语言模型的项目，具有多种功能和特点，支持众多模型和训练方法，提供了丰富的数据集和便捷的使用方式。 1. 项目概述 - 目标：提供统一高效的方式对100多种大语言模型进行微调。 - 功能特点 - 支持多种模型，如LLaMA、ChatGLM、Qwen等系列。 - 集成多种训练方法，包括预训练、监督微调、奖励建模等。 - 具备可扩展资源，支持16位全量微调、冻结微调、LoRA及多种量化方式。 - 采用先进算法，如GaLore、BAdam、Adam - mini等...

Read more

文档主要介绍了Awesome Domain LLM项目，该项目旨在收集和梳理垂直领域的开源模型、数据集及评测基准，推动大模型在各行各业的应用。 1. 模型分类 - 通用模型：整理了常用的开源通用模型，如LLaMA2、ChatGLM3 - 6B、Qwen、Baichuan2、InternLM等，包括模型大小、所属机构和相关论文。 - 领域模型 - 医疗领域：包含ChiMed - GPT、AlpaCare、Taiyi、MentalLLaMA、WiNGPT2等众多模型，分别介绍了其基于的基础模型、训练方式、功能特点等，部分模型还开源了相关数据集。 ...

Read more

- 故障管理

- 变更管理

- 数字化运营

- 常规运维

- 通用服务

Read more

这张图片展示了一个网络管理与运维系统的架构。

整体架构

1. 综合管控
2. 包括故障自愈、自动巡检、设备控制、自动运维、运维编排、周期调度等功能。这些功能主要用于对网络设备进行自动化的管理和维护，确保网络的稳定运行。
3. 态势展示
4. 包括故障统计、日志分析、性能对比、统计报表、数据大屏、运维驾驶舱等功能。这些功能主要用于对网络运行状态进行可视化展示，帮助运维人员快速了解网络性能和故障情况。
5. 高级管理
6. 包括流量分析、业务分析、资产管理、工单管理等功能。这些功能主要用于对网络流量、业务运行情况进行分析，以及对网络资产进行管理和运维工单的处理。
7. 基础监管
8. 包括自动发现、网络拓扑、故障监控、性能检测、事件管理...

Read more

1. 定义
2. Frobenius范数（弗罗贝尼乌斯范数）是一种矩阵范数，用于衡量矩阵的大小或“长度”。对于一个(m\times n)的矩阵(A=(a_{ij}))，它的Frobenius范数定义为(\left\lVert A\right\rVert_F=\sqrt{\sum_{i = 1}^{m}\sum_{j = 1}^{n}\vert a_{ij}\vert^2})。例如，对于矩阵(A = \begin{bmatrix}1&2\3&4\end{bmatrix})，其Frobenius范数(\left\lVert A\right\rVert_F=\sqrt{1^2 + 2^2...

Read more

1. 定义
2. 哈达码积（Hadamard product）也称为元素对应乘积，是一种特殊的矩阵乘法。对于两个相同维度的矩阵(A=(a_{ij}))和(B=(b_{ij}))，它们的哈达码积(A\circ B)是一个同样维度的矩阵(C=(c_{ij}))，其中(c_{ij}=a_{ij}b_{ij})。例如，若(A = \begin{bmatrix}1&2\3&4\end{bmatrix})，(B=\begin{bmatrix}5&6\7&8\end{bmatrix})，则(A\circ B=\begin{bmatrix}1\times5&2\times6...

Read more

1. 定义与基本性质
2. 定义：对于一个方阵(A=(a_{ij}))，如果(a_{ij}=a_{ji})，对所有的(i)和(j)都成立，那么矩阵(A)就是对称矩阵。例如，(A = \begin{bmatrix}1&2&3\2&4&5\3&5&6\end{bmatrix})是一个对称矩阵，因为(a_{12}=a_{21}=2)，(a_{13}=a_{31}=3)，(a_{23}=a_{32}=5)。
3. 性质：
   • 对称矩阵的转置等于它本身，即(A = A^T)。这是对称矩阵的本质特征。
   • 对称矩阵的主对角线元素可以是任意实数，主对角线就像一面“镜子”，使得矩...

Read more

1. 零向量
2. 定义：在向量空间中，所有分量都为零的向量称为零向量。例如，在二维向量空间中，零向量表示为(\vec{0}=(0,0))，在三维向量空间中为(\vec{0}=(0,0,0))。
3. 性质：零向量是唯一的。对于任意向量(\vec{v})，都有(\vec{v}+\vec{0}=\vec{v})，并且(0\cdot\vec{v}=\vec{0})（这里第一个(0)是标量(0)，第二个(\vec{0})是零向量）。它在向量空间的运算中起到类似数字运算中(0)的作用。例如，在求解线性方程组(A\vec{x}=\vec{b})时，如果(\vec{b}=\vec{0})，这个方程组就是齐次线性方程...

Read more

1. 对角矩阵
2. 定义：对角矩阵是一种方阵，除了主对角线（从左上角到右下角的对角线）上的元素外，其余元素都为零。例如，一个(3\times3)的对角矩阵(A)可以写成(A = \begin{bmatrix}a_{11}&0&0\0&a_{22}&0\0&0&a_{33}\end{bmatrix})。
3. 性质和应用：对角矩阵在矩阵乘法运算中有特殊的优势。当对角矩阵与另一个矩阵相乘时，相当于对另一个矩阵的行或列进行缩放。假设(A)是对角矩阵，(B)是一个(n\times m)的矩阵，那么(AB)的结果是将(B)的每一行按照(A)主对角线上对应的元素进行...

Read more

1. 线性代数基础概念与扭曲空间的联系
2. 向量空间：线性代数主要研究向量空间。在常规的三维欧几里得空间（这是一种“未扭曲”的空间概念）中，向量可以用坐标来表示，如((x,y,z))。向量空间具有加法和数乘运算等基本性质。而在扭曲空间中，向量的概念变得更加复杂。例如，在一个弯曲的二维曲面（如球面）上，切向量的定义依赖于曲面的局部几何。我们可以把球面上某一点的切向量看作是在该点处与球面“相切”的向量，它所在的“平面”是曲面在该点的切平面。
3. 基向量和坐标变换：在线性代数中，基向量是用来表示向量空间的基本框架。在欧几里得空间中，我们可以很方便地选择标准基向量，如在三维空间中的(\vec{i}=(1,0...

Read more