分类目录归档:基础设施

阿里云、Azure 和 AWS-产品列表对比分析


以下是阿里云、Azure 和 AWS 三家云提供商的产品列表对比分析,按核心领域分类整理:

一、计算服务

领域 阿里云 Azure AWS
通用计算 云服务器 ECS、GPU 云服务器、弹性裸金属服务器、轻量应用服务器 Azure 虚拟机(VM)、Spot 虚拟机、专用主机 Amazon EC2、EC2 Spot 实例、专用主机
容器服务 容器服务 ACK、弹性容器实例 ECI、容器镜像服务 ACR Azure Kubernetes 服务 (AKS)、容器实例 (ACI)、容器注册表 (ACR) Amazon EKS、ECS、Fargate
无服务器 函数计算 FC...

Read more

Airflow-Provider-自研课程-0101004


在Apache Airflow中,Provider是用于扩展Airflow功能的插件包。它们包含与特定服务或系统交互所需的操作符(Operators)、钩子(Hooks)、传感器(Sensors)等组件。通过安装和使用这些Provider包,您可以方便地在工作流中集成各种外部服务,如数据库、云平台、消息队列等。

例如,如果您需要在Airflow中连接并操作MySQL数据库,您可以安装与MySQL相关的Provider包。该包提供了连接MySQL所需的钩子和操作符,使您能够在工作流中执行数据库操作。

需要注意的是,不同的数据库或服务需要安装对应的Provider包,以确保Airflow...

Read more

查看 Airflow 中 DAG 运行的详细日志-自研课程-0101002


要查看 Apache Airflow 中 DAG 运行的详细日志,您可以通过以下几种方式进行:

  1. 通过 Airflow Web 界面查看任务日志:

  2. 打开 Airflow Web 界面(默认地址为 http://localhost:8080)。

  3. 在“DAGs”视图中,找到并点击您感兴趣的 DAG。
  4. 在 DAG 的“树状图”或“图形”视图中,点击特定任务实例。
  5. 在弹出的窗口中,切换到“日志”标签页,即可查看该任务的详细运行日志。

  6. 直接访问日志文件:

Airflow 将任务日志保存在本地文件系统中,默认路径为 AIRFLOW_HOME/logs。您可以直接访问这些日...

Read more

Airflow 中编写第一个 DAG-自研课程-0101001


要在 Apache Airflow 中编写第一个 DAG(有向无环图),您可以按照以下步骤进行:

  1. 创建 DAG 文件:在 Airflow 的 dags 目录下创建一个 Python 文件,例如 hello_world_dag.py。如果 dags 目录尚不存在,请先创建该目录。

  2. 导入必要的模块:在 DAG 文件中,导入 DAG 类和所需的操作符(Operator),例如 PythonOperatorBashOperator,以及日期时间模块。

python from airflow import DAG from airflow.operators.p...

Read more

配置报价器-阿里云-502


阿里云的配置报价器可以帮助你根据所需的云产品和服务配置生成相应的价格。你可以根据自己的需求选择不同的资源类型、配置、地域等,系统会自动生成一个价格估算。

  1. 选择产品和服务
  2. 选择你需要的阿里云产品(例如:ECS实例、RDS数据库、OSS存储、负载均衡等)。
  3. 每个产品可以根据需要选择不同的规格和配置(比如CPU、内存、存储空间等)。

  4. 选择地域和可用区

  5. 根据你的业务需求选择适当的地域和可用区,阿里云的服务在不同的区域定价也有所不同。

  6. 选择计费方式

  7. 阿里云有按量付费、包年包月等计费模式,选择适合你需求的模式。
  8. 可以根据预计使用时长选择是否购买预付费包年包月的服务。

  9. 添...

Read more

aws-marketplace-云资源中心-公有云-501


AWS Marketplace 是一个精心策划的数字目录,客户可以在其中查找、购买、部署和管理第三方软件、数据和服务,以构建解决方案和运营业务。 citeturn0search0

主要功能包括:

  • 广泛的软件选择:提供来自安全、商业应用程序、机器学习、数据产品等多个领域的数千种软件。

  • 多样的交付方式:支持 Amazon Machine Images (AMIs)、软件即服务 (SaaS) 等多种格式的软件解决方案。

  • 灵活的定价选项:提供免费试用、按小时、按月、按年、多年和自带许可模式 (BYOL) 等多种定价方式。

  • 简化的采购流程:通过标准化合同和灵活的付款方...

Read more

docker-容器拥有和宿主机同网段IP-macvlan


要让 Docker 容器拥有和宿主机同网段的 IP,通常可以使用 macvlan 网络驱动来实现。macvlan 允许你为容器分配直接连接到物理网络的 MAC 地址和 IP 地址,从而让容器像是网络中的独立设备一样。以下是具体步骤:

1. 创建 macvlan 网络

首先,你需要确定宿主机的网络接口名称,例如 eth0。然后使用以下命令创建一个 macvlan 网络:

docker network create -d macvlan \
  --subnet=192.168.1.0/24 \
  --gateway=192.168.1.1 \
  -o parent=eth0 \
  m...

Read more

Docker-桥接网络模式-


在 Docker 中使用桥接网络模式并让容器拥有独立 IP 可以按以下步骤操作:

1. 创建自定义桥接网络

可以使用 docker network create 命令创建自定义的桥接网络,示例如下:

docker network create --driver bridge --subnet 172.18.0.0/16 my_bridge_network

在上述命令里: - --driver bridge:指定使用桥接网络驱动。 - --subnet 172.18.0.0/16:设定自定义网络的子网范围。 - my_bridge_network:为自定义网络命名。

2. 运行容器并指...

Read more