kafka完全分布式搭建

1.下载安装包 链接：https://pan.baidu.com/s/197hhr1HzjuBFY99bZh8gKA 提取码：h0n5 2.zookeeper参考博客 3.三台主机，主机IP映射信息如下

192.168.1.101 bigdata101 192.168.1.102 bigdata102 192.168.1.103 bigdata103

4.解压压缩包到/opt/module/

[root@bigdata101 config]# tar -zxvf kafka_2.10-0.10.0.1.tgz -C /opt/module/

5.进入安装目录创建日志文件

[root@bigdata101 config]# cd /opt/module/kafka_2.10-0.10.0.1/ [root@bigdata101 kafka_2.10-0.10.0.1]# mkdir logs

6.修改配置文件

[root@bigdata101 config]# vi server.properties broker.id=1 log.dirs=/opt/module/kafka_2.10-0.10.0.1/logs zookeeper.connect=bigdata101:2181,bigdata102:2181,bigdata103:2181

7.远程到另外两台机子上

[root@bigdata101 config]# scp -r /opt/module/kafka_2.10-0.10.0.1/ root@bigdata102:/opt/module/ [root@bigdata101 config]# scp -r /opt/module/kafka_2.10-0.10.0.1/ root@bigdata103:/opt/module/

8.在第在机子上修改配置文件

[root@bigdata102 config]# vi server.properties broker.id=2

9.在第三台机子上修改配置文件

[root@bigdata103 config]# vi server.properties broker.id=3

10.配置三台主机环境变量

[root@bigdata101 config]# vi /etc/profile #kafka export KAFKA_HOME=/opt/module/kafka_2.10-0.10.0.1 export PATH=$PATH:$KAFKA_HOME/bin

11.生效环境变量

[root@bigdata101 config]# source /etc/profile

12.启动ZooKeeper 集群—在zookeeper/bin目录下

./zkServer.sh start

13.启动kafka

[root@bigdata101 config]# kafka-server-start.sh -daemon /opt/module/kafka_2.10-0.10.0.1/config/server.properties

14.启动之后—101 102 103 启动成功，证明搭建成功啦！