分类目录归档:人工智能

可调参数


在AI领域,可调参数是模型构建和优化过程中的关键要素,以下是关于AI中可调参数的详细介绍:

深度学习模型中的主要可调参数

  • 神经网络架构参数
    • 层数:如在卷积神经网络(CNN)用于图像识别时,浅层网络可能难以学习到复杂的图像特征,而深层网络能提取更高级的语义信息,但也可能导致过拟合。像经典的LeNet-5有5层,而ResNet系列可达上百层。
    • 神经元数量:每层神经元数量决定了模型的表达能力。例如在自然语言处理中,Transformer架构的编码器和解码器每层神经元数量需要根据任务和数据规模调整,处理复杂任务时通常需要更多神经元来捕捉语义信息。
    • 卷积核大小和步幅:在CNN中,卷积核大小影响感...

Read more

Transformer可视化


Transformer可视化是一种将Transformer模型的结构、工作原理以及内部数据流动等以直观图形的方式展示出来的技术手段,有助于人们更好地理解Transformer模型的复杂机制。以下是一些常见的Transformer可视化方法和工具:

模型结构可视化

  • 使用Graphviz:这是一款开源的图形可视化软件,可通过定义节点和边来绘制Transformer的整体架构图,清晰展示出编码器、解码器的多层结构,以及多头注意力机制、前馈神经网络等组件之间的连接关系。
  • 借助PyTorch或TensorFlow的可视化工具:如TensorBoard,在使用PyTorch或TensorFlow搭...

Read more

AI课程-竞品分析


Human–Computer Interaction (HCI) for AI Systems Design

2023年最强大天花版人工智能学习路线

Ai-Learn-人工智能学习路线图-Github

2023年人工智能最强天花版学习路线

12-14 2024 年 AI 学习路线图

【PracticalAI丨从0到1】这可能是2023最全面的人工智能学习路线

人工智能算法工程师简介

2024-AI课程大纲-百战程序员

光环科技-人工智能课程大纲

传智教育-人工智能课程大纲

2023人工智能最新最完整学习路线

2023最全面的人工智能学习路线

Gen AI For Developers T...

Read more

问题求解


在人工智能(AI)里,问题求解是核心部分。

从概念来讲,是让计算机系统找到解决给定问题的方案。比如在路径规划问题中,要为机器人找到从A点到B点的最佳路径。

方法上,有状态空间搜索。把问题表示为一系列的状态和状态之间的转换。就像走迷宫,每个岔路口是一个状态,选择不同的通道前进就是状态转换。例如深度优先搜索和广度优先搜索,前者是沿着一条路径一直探索到底,后者是先把同一层的所有可能状态都探索完再进入下一层。

还有启发式搜索,它会利用一些经验性的规则来更快地找到解。比如在棋类游戏中,根据棋子的位置和局面评估下一步走法的优先级。

另外,在知识表示和推理方面,基于规则的系统会根据预定义的规则来求解问...

Read more

穷举搜索


穷举搜索(Exhaustive Search),又称暴力搜索(Brute-Force Search),是一种在问题求解中对所有可能的情况进行逐一列举和检查的基本搜索算法,以下是对其更详细的介绍:

算法原理

  • 基于问题的解空间,对其中的每一个可能解进行系统的、全面的遍历和评估,不依赖任何启发式信息或特定的搜索策略来缩小搜索范围。
  • 对于一个给定的问题,穷举搜索会生成所有可能的候选解,然后逐一验证这些解是否满足问题的约束条件或目标函数,直到找到一个可行解或确定问题无解为止。

实现步骤

  1. 定义解空间:明确问题的所有可能解的集合,确定解的表示形式和范围。
  2. 生成候选解:按照一定的顺序或规则,依次生...

Read more

AI关键字一览表


以下是一份较为全面的AI关键字一览表:

基础概念

  • 人工智能(Artificial Intelligence,AI):通过计算机程序或机器模拟人类智能的过程,包括视觉感知、语音识别、决策制定和语言翻译等能力。
  • 机器学习(Machine Learning,ML):AI的一个分支,侧重于开发算法,让计算机系统从数据中学习并改进其性能。
  • 深度学习(Deep Learning,DL):机器学习的一个子集,使用多层神经网络来模拟人类大脑处理信息的方式。
  • 神经网络(Neural Network):受人脑结构启发的计算模型,由大量互联的节点(或“神经元”)组成。
  • 通用人工智能(Artificial G...

Read more

OpenAI O3-推理模型


OpenAI O3是OpenAI于2024年12月20日发布的下一代推理模型 。以下是关于它的详细介绍:

研发背景

  • 模型迭代需求:作为o1推理模型的下一代,旨在进一步提升模型在推理等方面的能力,解决现有模型存在的一些问题,如scaling law收益递减、预训练数据短缺等。
  • 避免商标冲突:为避免与英国电信运营商o2发生版权或商标冲突,OpenAI选择跳过o2并直接将新模型命名为o3 。

性能特点

  • 推理能力卓越:在科学、编码、数学等多个领域展现出强大的推理能力。在软件工程考试(swe-bench verified)中成绩达到71.7%,在全球著名编码竞赛平台codeforces上得分...

Read more

单层神经网络


单层神经网络是一种最简单的神经网络结构,以下是其详细介绍:

基本结构

  • 神经元:单层神经网络由多个神经元组成,每个神经元接收输入数据,并通过激活函数对输入进行处理,产生输出。
  • 输入层与输出层:它只有一个输入层和一个输出层,输入层的神经元数量与输入数据的特征数量相同,输出层的神经元数量则根据具体的任务需求而定。

工作原理

  • 前向传播:在工作时,输入数据首先被传递到输入层的各个神经元,这些神经元将输入数据乘以相应的权重,并加上一个偏置项,然后将结果传递给激活函数进行处理,激活函数的输出就是该神经元的输出。最后,输出层的神经元将接收到的所有输入进行加权求和,并加上偏置项,再通过激活函数得到最...

Read more

通用对抗攻击


Universal Adversarial Attack即通用对抗攻击,是一种针对机器学习模型的攻击方式,以下是相关介绍:

攻击原理

通过精心构造通用的对抗扰动或触发器,使模型对输入数据产生错误分类或预测,其利用了模型在训练和决策过程中的漏洞和局限性,即使对不同的输入数据或不同结构的模型,也能导致错误结果.

攻击方法

  • 生成通用对抗扰动:通过优化算法找到一个对大多数输入数据都有效的固定扰动,将此扰动添加到正常输入数据中,就能误导模型做出错误分类,如在图像领域,可找到适用于多种图像的通用扰动,使模型将原本正确分类的图像误判.
  • 设计通用对抗触发器:构造特定的输入模式或触发器,当输入数据包含此...

Read more