自动微分


Automatic differentiation(自动微分)是一种在计算机科学和数学领域中用于高效计算函数导数的技术,以下是关于它的详细介绍:

定义

自动微分是一种能够自动计算函数导数的方法,它基于计算机程序对函数表达式的解析和计算,利用链式法则等数学原理,将复杂函数的求导过程分解为一系列基本操作的求导组合,从而实现对函数导数的快速、准确计算。

原理

  • 正向累积:从自变量开始,按照函数的计算顺序,依次计算每个中间变量的导数,并将这些导数信息逐步累积,最终得到目标函数对自变量的导数。例如,对于函数(y = f(g(x))),先计算(g(x))关于(x)的导数(g'(x)),再计算(f(u...

Read more

结构化剪枝


结构化剪枝也是模型剪枝技术中的一种,和非结构化剪枝相对应,以下是关于它的具体介绍:

定义

结构化剪枝是一种在神经网络模型压缩中,以特定结构为单位对模型进行剪枝的方法。它不是像非结构化剪枝那样针对单个参数进行操作,而是对模型中的具有一定结构的组件,如卷积核、通道、神经元等进行整体删除或调整,从而在减少模型复杂度的同时,尽量保持模型的性能。

实现方式

  • 卷积核剪枝:在卷积神经网络中,卷积核是提取特征的关键组件。卷积核剪枝就是根据一定的标准,直接删除整个卷积核。例如,可以计算每个卷积核的重要性得分,这个得分可以基于卷积核的参数幅度、对特征提取的贡献等因素来确定。然后,将得分低于某个阈值的卷积核...

Read more

非结构化剪枝


非结构化剪枝是模型压缩和优化领域中的一种重要技术,以下是关于它的详细介绍:

定义

非结构化剪枝是一种对神经网络模型进行剪枝的方法,它不依赖于特定的结构或模式,而是直接对模型中的参数进行操作。通过去除神经网络中对模型性能影响较小的连接或参数,以达到减少模型存储需求、降低计算量和提高推理速度等目的,同时尽量保持模型的准确性。

实现方式

  • 基于幅度的剪枝:这是一种最常见的非结构化剪枝方法。其核心思想是根据参数的绝对值大小来决定是否剪枝。通常会设定一个阈值,将绝对值小于该阈值的参数直接设置为零。例如,在一个卷积神经网络中,对于卷积层的权重参数,会遍历每个参数,若其绝对值小于给定阈值,如0.01,...

Read more

神经架构搜索


神经架构搜索(Neural Architecture Search,NAS)是一种用于自动化搜索神经网络架构的技术,以下从其背景、方法、应用场景等方面进行详细介绍:

背景

随着深度学习在图像识别、语音识别、自然语言处理等诸多领域取得巨大成功,神经网络的架构设计变得越来越重要。传统的神经网络架构设计主要依赖于人工经验,需要大量的专业知识和时间成本。NAS旨在通过自动化的方式搜索出最优的神经网络架构,减少人工设计的工作量,提高模型的性能和效率。

方法

  • 搜索空间:定义了所有可能的神经网络架构的集合,包括网络的层数、每层的神经元数量、连接方式、激活函数等。例如,在图像识别中,搜索空间可能包含不...

Read more

模型压缩技术


模型压缩技术是一系列旨在减小深度学习模型体积、降低计算/存储开销、提升推理效率的技术,同时尽可能保持模型性能(如准确率)。这些技术对于在资源受限的设备(如手机、嵌入式设备)上部署模型至关重要,尤其在自然语言处理(NLP)、计算机视觉(CV)等领域广泛应用。以下是主要技术及其原理:


1. 量化(Quantization)

  • 原理:将高精度浮点数(如32位浮点)转换为低精度数值(如8位整数),减少模型存储和计算开销。
  • 类型
  • 静态量化:离线校准量化参数。
  • 动态量化:运行时动态调整量化范围。
  • 量化感知训练(QAT):在训练中模拟量化误差,提升压缩后模型性能。
  • 优点:简单高效,硬件支持广泛(如...

Read more

盘口数据-


在股票领域,盘口是投资者观察和分析股票交易动态的重要窗口,包含了丰富的信息,以下是对它更详细的介绍:

盘口数据

  • 委买委卖
    • 含义:委买是指投资者委托券商买入股票的申报,委卖则是委托卖出的申报。在盘口上会显示出不同价位的委买和委卖数量,通常会展示买一到买五、卖一到卖五的价位和对应的委托数量。
    • 作用:通过观察委买委卖的挂单情况,可以了解市场上投资者对该股票在不同价位的买卖意愿。如果买盘挂单量较大,说明有较多投资者准备买入,对股价有向上的推动预期;反之,卖盘挂单量多,则可能意味着股价面临下行压力。
  • 成交量
    • 含义:指在某一特定时间段内股票的成交数量。它是衡量股票交易活跃度的重要指标,分为分时...

Read more

新闻驱动的量化交易策略-


交易思路

看新闻

重点

导致的

股票

重点新闻

选股

盯盘

看盘口

埋伏

首板

从新闻中捕捉股票交易机会的实战思路

在股票投资领域,新闻事件是不可忽视的重要因素,它犹如一把双刃剑,既能为投资者带来丰厚回报,也可能让投资者陷入困境。掌握从新闻中挖掘交易思路的方法,对于投资者来说至关重要。

一、重点新闻筛选与关注

  1. 宏观经济新闻:GDP数据、就业数据、利率决策等宏观经济指标的公布,往往会引发市场的剧烈波动。例如,当GDP数据超预期增长时,可能意味着整体经济形势向好,企业盈利预期提升,从而推动股市上涨;反之,若数据不及预期,股市可能面临下行压力。投资者可通过官方经济数据...

Read more

知识蒸馏-V2


知识蒸馏(Knowledge Distillation)是一种在深度学习领域中广泛应用的技术,旨在将复杂模型(教师模型)的知识传递给简单模型(学生模型),以提高学生模型的性能同时降低其复杂度。以下是对知识蒸馏的详细介绍:

一、知识蒸馏的背景和意义

随着深度学习的发展,深度神经网络在许多任务中取得了巨大的成功。然而,这些复杂的模型通常需要大量的计算资源和存储空间,难以在资源受限的设备上部署,如智能手机、嵌入式传感器节点等。知识蒸馏应运而生,为解决这一问题提供了一种有效的途径。通过知识蒸馏,可以将大型教师模型的知识迁移到小型学生模型中,使得学生模型在保持较小规模的同时,能够获得接近甚至超越大...

Read more

隐学


隐学(Esotericism)是指那些隐秘、深奥、不易为大众所理解的知识体系或实践。它通常涉及神秘主义、玄学、宗教、哲学等领域,强调内在的、精神性的探索和领悟。隐学的内容往往需要通过特殊的修行、冥想或学习才能掌握,其核心思想通常与宇宙的奥秘、生命的本质、灵性提升等有关。

隐学的主要特点:

  1. 隐秘性:隐学的知识和实践通常不公开传授,只对特定的群体或个人开放。
  2. 象征性:隐学常使用符号、寓言和隐喻来表达深层次的意义。
  3. 内在性:强调内在的修行和精神成长,而非外在的物质追求。
  4. 整体性:隐学通常将宇宙、自然和人类视为一个整体,探讨它们之间的内在联系。

隐学的分支:

  1. 神秘主义:如卡巴拉(Kabba...

Read more