作者文章归档:course

成为提问工程师:打造AI时代的超级个体


这本书名为《成为提问工程师:打造AI时代的超级个体》,由方军、何洲、谭星编著,由人民邮电出版社出版。

一、书籍概要

  1. 核心主题

• 本书围绕如何在AI时代成为一名提问工程师展开。在人工智能飞速发展的当下,具备向AI系统有效提问的能力成为一项关键技能,本书旨在帮助读者掌握这一技能,进而成为AI时代的超级个体。

  1. 主要内容章节

• 理解“生成”的本质是文本模式的预测(第一章)

• 介绍了如何理解生成式AI的本质,特别是其在文本模式预测方面的原理。通过理解这一本质,读者可以更好地把握与AI交互的要点。

• 向AI提问的八项基础技能(封面及相关章节)

• 详细阐述了向AI提问的八项基础技能,...

Read more

权重衰退-


一、权重衰退的定义

权重衰退(Weight Decay)是一种在机器学习,特别是神经网络训练过程中经常使用的正则化方法。其主要目的是防止模型过拟合。

在神经网络中,模型的参数(也就是权重)会在训练过程中根据损失函数的梯度不断更新。而权重衰退会在每次更新权重时,给权重一个额外的衰减力,让权重的值不会变得过大。简单来说,它在损失函数中添加了一个惩罚项,这个惩罚项与权重的大小有关。

从数学角度看,假设原始的损失函数是 $L(\theta)$,其中 $\theta$ 代表模型的所有参数(权重)。加入权重衰退后的损失函数可以写成:$L(\theta)+\frac{\lambda}{2}\sum_{...

Read more

模型剪枝-


  1. 定义与概念
  2. 模型剪枝(Model Pruning)是一种用于减少机器学习模型复杂度的技术。它的核心思想是去除模型中对最终性能贡献较小或者冗余的部分,如神经网络中的神经元、连接或者决策树中的某些分支等,同时尽量保持模型的性能不变。就像是修剪树木一样,把不必要的枝叶剪掉,让树木(模型)更加精简高效。

  3. 目的和重要性

  4. 减少计算资源消耗:随着模型复杂度的增加,其在存储和计算方面的需求也会显著增加。例如,大型的深度神经网络可能需要大量的内存来存储模型参数,并且在推理(预测)阶段需要很长的计算时间。通过剪枝,可以减少模型的参数数量,从而降低存储需求和计算时间。对于在资源受限的设备(如移动设备...

Read more

模型容量-


  1. 定义与概念
  2. 模型容量(Model Capacity)是指机器学习模型能够学习到的函数的复杂程度或者多样性。它可以被看作是模型拟合各种数据模式的潜力。简单来说,模型容量决定了模型可以多么复杂地去拟合数据。例如,一个具有高容量的神经网络可能有许多层和神经元,能够学习到非常复杂的数据关系;而一个简单的线性回归模型容量较低,只能学习到线性关系。
  3. 与模型复杂度的关系
  4. 模型复杂度(Model Complexity)通常是对模型结构复杂程度的直观描述,而模型容量更侧重于模型能够学习到的函数空间的大小。一般情况下,模型复杂度越高,模型容量越大。例如,在决策树模型中,树的深度越深、叶子节点越多,模型就越...

Read more

折交叉验证-


  1. 定义与概念
  2. k - 折交叉验证(k - Fold Cross - Validation)是一种用于评估机器学习模型性能的统计方法。其基本思想是将原始数据集划分为(k)个大小相似的互斥子集(也称为“折”),然后进行(k)轮训练和验证。在每一轮中,使用(k - 1)个子集作为训练数据来训练模型,剩下的一个子集作为验证数据来评估模型的性能。例如,当(k = 5)时,将数据集等分为5份,每次使用其中4份进行训练,1份进行验证,这样一共会进行5次不同的训练 - 验证组合。
  3. 步骤与过程
  4. 数据划分:假设我们有一个包含(n)个样本的数据集(D),首先将其随机打乱(这一步很重要,以确保每个子集都有相似的...

Read more

训练误差


  1. 定义与概念
  2. 训练误差是指机器学习模型在训练数据集上进行预测时产生的误差。它是衡量模型对训练数据拟合程度的一个指标。例如,在一个简单的线性回归模型中,训练误差可以通过计算预测值与训练数据中实际标签值之间的差异(如均方误差)来确定。
  3. 训练误差的计算通常基于某种损失函数(Loss Function)。损失函数用于量化模型预测结果与真实结果之间的差异程度。常见的损失函数包括均方误差(MSE)用于回归问题,交叉熵损失(Cross - Entropy Loss)用于分类问题等。以交叉熵损失为例,在一个二分类任务中,如果模型预测样本属于某一类的概率为(p),而实际标签为(y)((y = 0)或(y ...

Read more

泛化误差-


定义与概念

  1. 总体概念
  2. 泛化误差(Generalization Error)是指机器学习模型在新的、未见过的数据上的预测误差。它衡量了模型从训练数据中学到的知识和模式能否推广到整个数据分布(包括训练数据和未见过的数据)。例如,一个在猫狗图像分类训练集中训练好的模型,当面对新的猫狗图像时,其预测错误的比例就是泛化误差。
  3. 与训练误差的关系
  4. 训练误差(Training Error)是模型在训练数据上的误差。通常情况下,随着训练的进行,模型会逐渐学习训练数据中的模式,训练误差会逐渐降低。然而,泛化误差并不总是随着训练误差的降低而降低。如果模型过于复杂,它可能会过度拟合训练数据,导致训练误差非常低...

Read more

CodeFuse-ChatBot-开源的AI智能助手


CodeFuse-ChatBot是一款开源的AI智能助手,专注于软件开发生命周期,通过多种技术和功能提升开发运维效率,具有丰富的特性、便捷的使用方式和活跃的更新维护。 1. 项目概述 - 开发团队与目标:由蚂蚁CodeFuse团队开发,旨在简化和优化软件开发生命周期各环节,结合Multi - Agent协同调度机制,集成多种工具库、代码库、知识库和沙盒环境,助力DevOps领域任务处理。 - 更新记录 - 2024.01.29:开放可配置化的multi - agent框架codefuse - muAgent。 - 2023.12.26:基于...

Read more

Jira Service Management-高速服务管理的软件


Jira Service Management是一款借助AI助力团队实现高速服务管理的软件,具有多方面优势,能满足不同规模团队需求,涵盖多种功能与应用场景,并提供丰富资源和集成能力。 1. 产品价值主张 - 助力企业在数字化服务快速发展中,通过将开发(Dev)、IT和业务团队整合于一个AI驱动的平台,提升服务交付速度和质量,实现卓越服务。 2. 主要功能特性 - IT支持功能 - 轻松搭建服务台,集中管理请求,利用AI自动化支持交互,提高效率。 - 高速服务管理优势 - 加速开发与运维协作,增强团队间协作,有效管理风险,同时赋能所有...

Read more