环境信息使用的 hadoop 完全分布式集群 用户 hadoop 123192.168.2.241 hadoop01 # hive db192.168.2.242 hadoop02 # hive client192.168.2.243 hadoop03 # mysql db MySQL安装以及授权 ...

修改网卡配置设置临时 ip12ip a a 192.168.1.66/24 dev ens33ip r a default via 192.168.1.1 /etc/NetworkManager/system-connections/ens33.nmconnection 默认配置1234567891 ...

本地运行模式详细参考 hadoop 部署一章 验证 创建文件 1234567891011su - hadoopcd /opt/bigdata/hadoop/currentmkdir wcinputcat > /opt/bigdata/hadoop/current/wcinput/demo.tx ...

shell 操作hadoop fs 等同于 hdfs dfs HDFS 上的 Shell 操作命令跟 Linux 下的 Shell 命令基本类似，相关参数也基本相同 hdfs dfs -help ： 查看命令的帮助信息 主要不同的点 123456789101112131415# 从本地上传 /loc ...

pv : 物理卷，与磁盘分区是逻辑对应关系vg : 卷组，单个或多个物理卷组合pe : 逻辑意义上磁盘的最小存储单位，默认 4MBlv : 逻辑意义上的分区，从 vg 中提取容量来创建逻辑卷。最后对逻辑卷格式化并挂载使用 添加 LVM pvcreate /dev/sdc1 # pvdisplay ...

前置操作默认所有主机操作 前置操作，可能服务器可能已经做了 关闭 selinux，防火墙， swap12345678swapoff -ased -ri 's/.*swap.*/#&/' /etc/fstab grep SELINUX= /etc/selinux/con ...

大数据简介大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点： Volume（大量） Velocity（高速） Variety（多样）: 结构化 ...

创建简单 DAG 文件DAG 文件示例可以在主页查看到很多 DAG 示例文件，进入对应 DAG code 页面，可以看到对应的代码 当前编写一个简单的 DAG 文件， test_dag.py1234567891011121314151617181920212223242526272829303132 ...

airflow基本操作主要包括网页，数据库, 命令行，以及 API 操作以下分批介绍 ui主页 任务详细 任务操作 用户权限信息 admin 操作 文档 终端12345678910111213141516171819202122232425262728293031323334353637 ...

airflowairflow 是一个可编程，调度和监控的工作流平台 架构图单机 集群 DAG文件扫描变化 服务组件类型 airflow-scheduler - 包含所有的任务和 DAG。决定任务的运行以及优先级等 airflow-webserver - web 服务器，提供图形界面。默认地 ...