分类目录归档:开源项目

MongoShake-数据库同步工具


这个仓库是 MongoShake,由阿里云的 NoSQL 团队开发和维护,是一个基于 MongoDB 的 oplog 的通用平台,用于从源 MongoDB 数据库获取 oplog 并在目标 MongoDB 数据库中重放,或通过不同的隧道发送到其他端点。以下是对该仓库的详细介绍:

功能特性

  1. 数据同步:可以将数据从源 MongoDB 复制到另一个 MongoDB,构建冗余复制或双活复制。支持多种源类型,包括单节点 mongod、副本集和分片集群,目标可以是 mongod 或 mongos。
  2. 并行复制:提供三种并行复制选项(shad_key):__id__collection__au...

Read more

Addax-开源的 ETL


该仓库名为 Addax,是一个开源的 ETL(Extract, Transform, Load)工具,其设计初衷是支持多种 SQL 和 NoSQL 数据源,以下是对该仓库的详细介绍:

项目概述

Addax 是一个可扩展的 ETL 工具,它支持 20 多种 SQL/NoSQL 数据源,是在阿里巴巴的 DataX 基础上进行分叉和演进而来的。该工具提供了一个不断发展的插件生态系统,并为数据集成提供了易于遵循的配置方式。

主要特性

  • 多数据源支持:支持 20 多种 SQL 和 NoSQL 数据源,并且易于扩展以支持更多数据源。
  • 配置简单:通过基于简单 JSON 的作业描述进行配置。
  • 积极维护:...

Read more

DataX-离线数据同步工具


这个仓库是阿里云开源的离线数据同步工具DataX,其主要功能是实现各种异构数据源之间高效的数据同步。以下是对该仓库的详细介绍:

项目概述

DataX是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行6年之久,目前每天完成同步8w多道作业,每日传输数据量超过300TB。

主要功能

  • 数据同步:实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS、da...

Read more

AstrBot-聊天机器人及开发框架-开源项目


AstrBot 是一个松耦合、异步、支持多消息平台部署、具有易用的插件系统和完善的大语言模型(LLM)接入功能的聊天机器人及开发框架。以下是对该仓库的详细介绍:

仓库结构

.AstrBot
├── .dockerignore
├── .gitignore
├── .pre-commit-config.yaml
├── .python-version
├── CODE_OF_CONDUCT.md
├── Dockerfile
├── Dockerfile_with_node
├── LICENSE
├── README.md
├── README_en.md
├── README_ja.m...

Read more

newsnow-新闻聚合平台-开源项目


这个仓库 newsnow 是一个专注于提供实时和热门新闻优雅阅读体验的项目。以下是对该仓库的详细介绍:

项目概述

NewsNow 目前是一个仅支持中文的演示版本,后续会推出功能更丰富、支持更好定制化和英文内容的完整版本。其目标是为用户提供简洁优雅的界面,以实现对实时和热门新闻的高效阅读。

主要特性

  1. 界面设计:拥有简洁优雅的 UI 设计,优化阅读体验。
  2. 实时更新:能够实时更新热门新闻。
  3. 登录与同步:支持 GitHub OAuth 登录,并实现数据同步。
  4. 缓存机制:默认缓存时长为 30 分钟,登录用户可强制刷新。
  5. 自适应抓取:根据数据源更新频率,采用自适应抓取间隔(最小 2 分钟),优化资...

Read more

awesome-优质内容集合-开源项目


链接 https://github.com/sindresorhus/awesome 指向的是一个名为 "awesome" 的项目,这个项目与众多 "Awesome Lists" 相关。从当前代码库潜在的相关代码片段中可以了解到,"Awesome Lists" 是一系列经过精心整理和推荐的资源列表,涵盖了各种不同的领域和主题。

相关信息

  • 项目意义:该项目倡导只收录真正出色的内容,强调内容的质量而非数量,是一种精心的策展,而非简单的收集。
  • 相关徽章
    • Awesome 徽章:用于 Awesome 列表,可以选择常规徽章或扁平徽章,且徽章不可修改。示例代码如下:
[![Awesome]...

Read more

awesome-artificial-intelligence-开源项目


这个仓库名为 awesome-artificial-intelligence,它精心整理了人工智能(AI)领域的各类资源,旨在为对人工智能感兴趣的开发者、研究者和爱好者提供全面且实用的信息。以下是对该仓库的详细介绍:

仓库概述

该仓库收集了人工智能相关的工具、课程、书籍、讲座、论文等资源,涵盖了人工智能的多个方面,包括机器学习、深度学习、自然语言处理、计算机视觉等。

主要内容板块

  1. 工具(Tools)

    • 聊天工具:如 Chat GPT、Gemini、Claude,可用于对话、获取见解、自动化任务等。
    • 图像生成工具:Midjourney 和 DALL·E 3,能够根据自然语言描述创建逼真...

Read more

awesome-agi-cocosci-开源项目


这个仓库 awesome-agi-cocosci 主要聚焦于人工通用智能(Artificial General Intelligence, AGI)和计算认知科学(Computational Cognitive Sciences, CoCoSci)领域,是一个经过精心整理的资源集合,旨在推动高级机器智能的发展,同时加深对人类认知的理解。以下是该仓库的详细介绍:

仓库概述

该仓库致力于汇集人工通用智能和计算认知科学领域的各类资源,包括基础课程、教程、论文和书籍等。这些资源涵盖了多个主题和视角,适合初级和高级研究人员,无论是正在学习、从事还是围绕AGI和CoCoSci开展工作的人员,都能在其...

Read more

WatchAD2.0-对域安全的日志分析与监控系统-开源项目


这个仓库 WatchAD2.0 是 360 信息安全中心开发的一款针对域安全的日志分析与监控系统,以下是对该仓库的详细介绍:

1. 产品简述

WatchAD2.0 可以收集所有域控上的事件日志、网络流量,通过特征匹配、协议分析、历史行为、敏感操作和蜜罐账户等方式来检测各种已知与未知威胁,功能覆盖了大部分目前的常见内网域渗透手法。相较于 WatchAD1.0,有以下提升: - 更丰富的检测能力:新增了账户可疑活动监测场景,加强了权限提升、权限维持等场景检测能力,涵盖包括异常账户/活动、Zerologon 提权、SPN 劫持、影子票证等更多检测面。 - 基于 Golang 重构分析引擎:将开...

Read more

open-webui-自托管AI平台-开源项目


这个仓库 open-webui 是一个开源的项目,提供了一个可扩展、功能丰富且用户友好的自托管 AI 平台。以下是对该仓库的详细介绍:

项目概述

Open WebUI 是一个设计为完全离线运行的自托管 AI 平台,支持多种大型语言模型(LLM)运行器,如 Ollama 和 OpenAI 兼容的 API,还内置了用于检索增强生成(RAG)的推理引擎,是一个强大的 AI 部署解决方案。

主要特性

  1. 轻松设置:可以使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)无缝安装,支持 :ollama:cuda 标记的镜像。
  2. Ollama/OpenA...

Read more