发表于 | 分类于
环境信息使用的 hadoop 完全分布式集群，节点限制，全安装在一起 用户 hadoop 123192.168.2.241 hadoop01 192.168.2.242 hadoop02 192.168.2.243 hadoop03 spark on yarn， 当前只在 hadoop03 上 安 ...
阅读全文 »

发表于 | 分类于
环境信息使用的 hadoop 完全分布式集群，节点限制，全安装在一起 用户 hadoop 123192.168.2.241 hadoop01 # HBase master, RegionServer192.168.2.242 hadoop02 # HBase master, RegionServer ...
阅读全文 »

发表于 | 分类于
环境信息使用的 hadoop 完全分布式集群 用户 hadoop 123192.168.2.241 hadoop01 # hive db192.168.2.242 hadoop02 # hive client192.168.2.243 hadoop03 # mysql db MySQL安装以及授权 ...
阅读全文 »

发表于 | 分类于
修改网卡配置设置临时 ip12ip a a 192.168.1.66/24 dev ens33ip r a default via 192.168.1.1 /etc/NetworkManager/system-connections/ens33.nmconnection 默认配置1234567891 ...
阅读全文 »

发表于 | 分类于
本地运行模式详细参考 hadoop 部署一章 验证 创建文件 1234567891011su - hadoopcd /opt/bigdata/hadoop/currentmkdir wcinputcat > /opt/bigdata/hadoop/current/wcinput/demo.tx ...
阅读全文 »

发表于 | 分类于
shell 操作hadoop fs 等同于 hdfs dfs HDFS 上的 Shell 操作命令跟 Linux 下的 Shell 命令基本类似，相关参数也基本相同 hdfs dfs -help ： 查看命令的帮助信息 主要不同的点 123456789101112131415# 从本地上传 /loc ...
阅读全文 »

发表于 | 分类于
pv : 物理卷，与磁盘分区是逻辑对应关系vg : 卷组，单个或多个物理卷组合pe : 逻辑意义上磁盘的最小存储单位，默认 4MBlv : 逻辑意义上的分区，从 vg 中提取容量来创建逻辑卷。最后对逻辑卷格式化并挂载使用 总结新加 pvcreate + vgcreate + lvcreate1234 ...
阅读全文 »

发表于 | 分类于
前置操作默认所有主机操作 前置操作，可能服务器可能已经做了 关闭 selinux，防火墙， swap12345678swapoff -ased -ri 's/.*swap.*/#&/' /etc/fstab grep SELINUX= /etc/selinux/con ...
阅读全文 »

发表于 | 分类于
大数据简介大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点： Volume（大量） Velocity（高速） Variety（多样）: 结构化 ...
阅读全文 »

发表于 | 分类于
创建简单 DAG 文件DAG 文件示例可以在主页查看到很多 DAG 示例文件，进入对应 DAG code 页面，可以看到对应的代码 当前编写一个简单的 DAG 文件， test_dag.py1234567891011121314151617181920212223242526272829303132 ...
阅读全文 »