CDH使用

发表于 | 分类于

CDH 安装在另外的服务器，可以从 CDH 管理界面下载配置文件

导入到本地服务器

下载 CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel

1
2
3
4
5
6
mkdir -p /opt/cloudera/parcels
cd /opt/cloudera/parcels
#  上传刚才的的parcel包至/opt/cloudera/parcels目录

tar -zxvf  CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel
ln  -s  CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel   CDH

下载 hive-clientconfig.zip 和 hbase-clientconfig.zip 、hdfs-clientconfig.zip并解压到 /opt/cloudera/etc/

1
2
3
4
5
[root@k8s01 parcels]# mkdir -p /opt/cloudera/etc/
[root@k8s01 parcels]# ll /opt/cloudera/etc/
drwxr-xr-x 2 root root 154 6  25 10:31 hadoop-conf
drwxr-xr-x 2 root root 153 6  25 10:31 hbase-conf
drwxr-xr-x 2 root root 266 6  25 10:31 hive-conf

配置环境变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
cat > /etc/profile.d/cdh.sh <<-EOF 
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HCAT_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/opt/cloudera/etc/hive-conf
export HIVE_CONF=/opt/cloudera/etc/hive-conf/
export YARN_CONF_DIR=/opt/cloudera/etc/hive-conf
export CDH_MR2_HOME=\$HADOOP_HOME/lib/hadoop-mapreduce
export PATH=\${HADOOP_CONF_DIR}:\${HADOOP_HOME}/bin:\${HADOOP_HOME}/sbin:\${HBASE_HOME}/bin:\${HIVE_HOME}/bin:\${HCAT_HOME}/bin:\${PATH}
EOF

source /etc/profile

将服务器 ip 及 域名 加入 客户端 /etc/hosts

验证

1
2
3
hdfs dfs -ls / 

hive