shell 操作hadoop fs 等同于 hdfs dfs HDFS 上的 Shell 操作命令跟 Linux 下的 Shell 命令基本类似，相关参数也基本相同 hdfs dfs -help ： 查看命令的帮助信息 主要不同的点 123456789101112131415# 从本地上传 /loc ...

pv : 物理卷，与磁盘分区是逻辑对应关系vg : 卷组，单个或多个物理卷组合pe : 逻辑意义上磁盘的最小存储单位，默认 4MBlv : 逻辑意义上的分区，从 vg 中提取容量来创建逻辑卷。最后对逻辑卷格式化并挂载使用 总结新加 pvcreate + vgcreate + lvcreate1234 ...

前置操作默认所有主机操作 前置操作，可能服务器可能已经做了 关闭 selinux，防火墙， swap12345678swapoff -ased -ri 's/.*swap.*/#&/' /etc/fstab grep SELINUX= /etc/selinux/con ...

大数据简介大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点： Volume（大量） Velocity（高速） Variety（多样）: 结构化 ...

创建简单 DAG 文件DAG 文件示例可以在主页查看到很多 DAG 示例文件，进入对应 DAG code 页面，可以看到对应的代码 当前编写一个简单的 DAG 文件， test_dag.py1234567891011121314151617181920212223242526272829303132 ...

airflow基本操作主要包括网页，数据库, 命令行，以及 API 操作以下分批介绍 ui主页 任务详细 任务操作 用户权限信息 admin 操作 文档 终端12345678910111213141516171819202122232425262728293031323334353637 ...

airflowairflow 是一个可编程，调度和监控的工作流平台 架构图单机 集群 DAG文件扫描变化 服务组件类型 airflow-scheduler - 包含所有的任务和 DAG。决定任务的运行以及优先级等 airflow-webserver - web 服务器，提供图形界面。默认地 ...

域名无法访问/etc/resolv.conf 配置的域名解析服务器有问题1234567891011121314root@e5388c88162b:/# ping www.baidu.comping: unknown hostroot@e5388c88162b:/# nslookup www.baid ...

测试

后台运行的方式未启动命令时eg： test.sh setsid bash test.sh nohup test.sh & scren tmux , tmux ls , tumx a -t 1 命令已启动ctrl + z 暂停任务bg 将命令放入后台运行 shopt | grep hup ...