@羲凡——只为了更好的活着

Druid完整版集群安装——druid0.18.1

前期准备

安装zookeeper、java8、mysql

集群规划

hostname主节点数据节点查询节点mysqlml16.com√ml20.com√ml21.com√√ml22.com√

一、下载解压配置环境变量

每台机器都要操作

1.下载安装包

wget http://archive.apache.org/dist/druid/0.18.1/apache-druid-0.18.1-bin.tar.gz

2.解压并重命名

tar -zxf apache-druid-0.18.1-bin.tar.gz -C ../modules/ mv apache-druid-0.18.1 druid-0.18.1

3.配置环境变量

vim /etc/profile #DRUID_HOME export DRUID_HOME=/opt/modules/druid-0.18.1 export PATH=$PATH:$DRUID_HOME/bin source /etc/profile

二、配置元数据库mysql

登录ml21.com上的mysql

CREATE DATABASE druid DEFAULT CHARACTER SET utf8mb4; CREATE USER 'druid'@'%' IDENTIFIED BY 'druid'; GRANT ALL PRIVILEGES ON druid.* TO 'druid'@'%';

三、配置Druid参数

任选一台机器比如ml16.com，配置好后分发到别的机器上

1.将hadoop的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml拷贝到 conf/druid/cluster/_common/ 下

2.mysql的jdbc的jar包到 extensions/mysql-metadata-storage/

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz tar -zxf mysql-connector-java-5.1.46.tar.gz cd mysql-connector-java-5.1.46/ mv mysql-connector-java-5.1.46-bin.jar $DRUID_HOME/extensions/mysql-metadata-storage/

3. 配置共同文件

conf/druid/cluster/_common/common.runtime.properties

## 添加 "mysql-metadata-storage" druid.extensions.loadList=["mysql-metadata-storage","druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"] ## 每个机器写自己的ip或hostname druid.host=ml16.com ## 填写自己的zk地址 druid.zk.service.host=ml14.com:2181,ml15.com:2181,ml16.com:2181 druid.zk.paths.base=/druid ## mysql 地址(将默认的derby参数注释掉) druid.metadata.storage.type=mysql druid.metadata.storage.connector.connectURI=jdbc:mysql://ml21.com:3306/druid druid.metadata.storage.connector.user=druid druid.metadata.storage.connector.password=druid ## hdfs数据存储(将默认的local disk参数注释掉) druid.storage.type=hdfs druid.storage.storageDirectory=/druid/segments druid.indexer.logs.type=hdfs druid.indexer.logs.directory=/druid/indexing-logs

4.配置主节点文件(具体参数大小根据自己情况)

conf/druid/cluster/master/coordinator-overlord/jvm.config

-Xms1g -Xmx1g -Duser.timezone=UTC+8 -Dfile.encoding=UTF-8

5.配置数据节点文件(具体参数大小根据自己情况)

conf/druid/cluster/data/historical/jvm.config

-Xms128M -Xmx128M -XX:MaxDirectMemorySize=1g -Duser.timezone=UTC+8 -Dfile.encoding=UTF-8

conf/druid/cluster/data/middleManager/jvm.config

-Xms128M -Xmx128M -Duser.timezone=UTC+8 -Dfile.encoding=UTF-8

6.配置查询节点文件(具体参数大小根据自己情况)

conf/druid/cluster/data/broker/jvm.config

-Xms1g -Xmx1g -XX:MaxDirectMemorySize=6g -Duser.timezone=UTC+8 -Dfile.encoding=UTF-8

conf/druid/cluster/data/router/jvm.config

-Xms1g -Xmx1g -XX:MaxDirectMemorySize=128M -Duser.timezone=UTC+8 -Dfile.encoding=UTF-8

四、分发并启动

1.分发

如果其他机器上没有安装包，则分发安装包，如果有则只需要分发 extensions 和 conf 两个文件夹即可

scp -r druid-0.18.1/ ml20.com:/opt/modules/ scp -r druid-0.18.1/ ml21.com:/opt/modules/ scp -r druid-0.18.1/ ml22.com:/opt/modules/

分发后一定要修改 common.runtime.properties 中的 druid.host 为本机的ip 分发后一定要修改 common.runtime.properties 中的 druid.host 为本机的ip 分发后一定要修改 common.runtime.properties 中的 druid.host 为本机的ip

2.启动

在主节点上启动(ml16.com)

nohup start-cluster-master-no-zk-server &

在数据节点上启动(ml20.com,ml21.com)

nohup start-cluster-data-server &

在查询节点上启动(ml22.com)

nohup start-cluster-query-server &

关闭服务，先用 ps aux | grep druid找到进程编号，然后kill掉

3.查看界面

http://ml22.com:8888 可能出现的几种报错： a、如果你服务起不来，先看看你的jvm参数是不是太大了 b、数据库链接不上，先看看你的jdbc的mysql的jar包有没有放在指定目录下 c、如果8888界面上有一些错误信息，则删除var目录下的文件重启即可 d、如果8888界面上显示的services数量不一致，则检查 druid.host 参数

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流