亲手搭建!从0到1搭建CDH集群(centos6.5+CDH5.16+jdk1.8+mysql5.7)(第二步: ClouderaManager安装)

    技术2023-06-10  82

    说明:【all】【所有机器】【123】表示所有节点都执行 【1】表示只有1号节点执行

    二、 ClouderaManager安装

    2.1 安装Cloudera Manager Server、Agent

    【all】mkdir /opt/cloudera-manager 【1】tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

    2.2 创建用户cloudera-scm

    【all】useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    2.3 配置CM Agent

    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host

    【1】vim /opt/cloudera-manager/cm-5.13.0/etc/cloudera-scm-agent/config.ini - server_host=datalinux1

    2.4 将cloudera-manager分发到各个节点

    【23】scp -r /opt/cloudera-manager/cm-5.13.0 datalinux2:`pwd`

    2.5 配置CM Server数据库

    配置jdbc驱动,在主节点操作,然后分发到各个节点

    cp /opt/tools/mysql-connector-java-5.7.38.jar /opt/cloudera-manager/cm-5.16.1/share/cmf/lib/ scp /opt/tools/mysql-connector-java-5.7.38.jar datalinux2:/opt/cloudera-manager/cm-5.16.1/share/cmf/lib/ scp /opt/tools/mysql-connector-java-5.7.38.jar datalinux3:/opt/cloudera-manager/cm-5.16.1/share/cmf/lib/ mkdir /usr/share/java cp mysql-connector-java-5.7.38.jar /user/share/java scp /usr/share/java/mysql-connector-java.jar datalinux2:`pwd` scp /usr/share/java/mysql-connector-java.jar datalinux3:`pwd`

    注意:jar包名称要修改为mysql-connector-java.jar

    配置mysql数据库的权限【1】

    - cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/ -./scm_prepare_database.sh mysql scm scm scm123456 #格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器 #【此方法5.7不行】./scm_prepare_database.sh mysql cm -h datalinux1 -uroot -pdahai123456 --scm-host datalinux1 scm scm scm #数据库先创建 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    2.6 创建Parcel目录

    Server节点

    【1】mkdir -p /opt/cloudera/parcel-repo 【1】chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

    Agent节点

    【123】mkdir -p /opt/cloudera/parcels 【123】chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    2.7 制作CDH本地源

    下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

    打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。

    2.8 启动CM Server、Agent

    【123】cd /opt/cloudera-manager/cm-5.16.1/etc/init.d/ 【1】./cloudera-scm-server start

    Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装

    【123】./cloudera-scm-agent start

    【往期回顾】

    亲手搭建!从0到1搭建CDH集群(centos6.5+CDH5.16+jdk1.8+mysql5.7)(第一步:环境准备)

    Processed: 0.028, SQL: 9