作者文章归档:course
【置顶】2025-04-DATA-ONE-Tasks-目标与计划
目标
- aktools + mongodb + ariflow + DAGS-files -》 自动下载A股行情数据
- 增加读取A股行情数据的自定义A PI 接口
- 修改 ONE 的前后端适配 自定义API 接口
2025-04-21-27 DATA 平台
- 并发更新写入所有股票的数据
2025-04-24
从mongodb http://192.168.3.3:8081/db/src_db/ak_stock_info 数据为src_db 集合为ak_stock_info 取出所有 code 进行去重,返回列表 , 并把这些codes 放入redis 的消息队列中,消息队列的地址为 ...
【置顶】ONE-2025-目标计划-TodoList
- ONE 静态官网
- ONE 每月一个版本
- 交易策略
- 预测引擎
月份 | 目标 | 开发计划 |
---|---|---|
一月 | 1. 完成金融市场趋势分析模型的基础框架搭建 2. 与至少 10 个新的高净值客户建立初步联系 |
1. 第一周:收集整理过去 5 年金融市场的关键数据,包括股票、债券、基金等各类资产的价格走势、成交量等信息 2. 第二周:运用数据挖掘算法初步筛选出对市场趋势有显著影响的指标,并开始构建模型框架 3. 第三周:参加高净值客户社交活动,通过演讲、交流等方式介绍金融服务理念,收集潜在客户信息 4. 第四周:对收集到的潜在客户信息进行整理分析,制定个性化的初步沟通方案 |
二月 | 1. 优化金融市场趋势... |
【置顶】架构规划-全景图-ONE
【置顶】FinRobot-架构图
【置顶】StackStorm-开源的自动化平台
- 定义与概述
-
StackStorm是一个开源的自动化平台,用于事件驱动的自动化操作。它能够将各种系统、工具和服务集成在一起,通过自动化流程来响应事件,从而提高系统的运维效率、可靠性和敏捷性。例如,在一个复杂的云计算环境中,当监测到某个虚拟机的CPU使用率过高时,StackStorm可以自动触发一系列操作,如扩展虚拟机资源或者迁移虚拟机到其他主机。
-
核心组件与架构
- 传感器(Sensors):这是StackStorm的输入部分,用于检测事件。传感器可以监控各种来源的事件,如系统日志、消息队列、网络设备的SNMP陷阱等。例如,一个文件系统传感器可以监控文件系统的变化,如文件的创建、修改...
【置顶】FinRobot-金融应用的开源 AI 智能体平台
FinRobot 是一个人工智能代理平台,它超越了 FinGPT 的范畴,是为金融应用精心设计的全面解决方案。它集成了多种多样的人工智能技术,不仅仅局限于语言模型。这种广阔的视野凸显了该平台的多功能性和适应性,能够满足金融行业多方面的需求。
FinRobot 是一个专注于金融应用的开源 AI 智能体平台,由 AI4Finance 基金会开发。它通过结合大语言模型(如 GPT-4)和多种金融工具,提供一系列功能,主要用于股票分析、市场预测、财务报表解读和报告生成。以下是一些核心特点和功能:
核心功能:
- 市场预测代理:输入公司代码、财务数据和新闻,预测股价走势并提供简要分析。
- 财务分析师代...
基于 Python 的分布式并发写入方案-V2
- 从mongodb数据库的集合中 获取所有的股票代码 stocks
- 把stocks 放入redis 队列
- 启动多进程池 然后 并发的从队列中取 stock
- 处理完后,把数据存入mongodb 中
写成一个类updateStockData ,包含上面的这些方法
基于 Python 的分布式并发写入方案
以下是基于Python、Redis队列和MongoDB的分布式并发写入方案,适用于5000个接口数据处理:
方案架构
- 技术栈
• 任务队列:Redis(List结构实现FIFO队列,支持分布式消费)。
• 并发处理:Python多进程/线程(或异步框架如FastAPI+协程)。
• 存储层:MongoDB(分片集群或副本集,支持高并发写入)。
核心步骤
- 数据入队
• 接口请求:
◦ 用Python遍历5000个接口,将每个接口URL/参数作为任务存入Redis队列(如task_queue)。
◦ 示例代码: import redis r = redis.Redis(host='l...
FineBI-大数据分析工具
一段话总结
FineBI是一款强大好用、人人可用的大数据分析工具,能连接多种数据源,具备数据编辑、可视化、分享协作等功能,内置50+图表,可实现一站式主题分析,比传统数据分析提效50%,图表可视化效率较传统BI提升19%。它拥有丰富函数,能智能分析数据变化原因,还可设置预警。该工具能满足不同岗位人员的数据分析需求,提供丰富业务场景模板和案例,获得30000+企业认可,支持免费体验。
## **产品功能**
- 连接多种数据源,一键接入数据库表或导入Excel
- 可视化编辑数据,无需SQL,含多种新增列功能
- 内置50+图表,支持联动钻取特效
- 多人协同编辑仪表板,复用报表,一键...