Kafka-Eagle 1.4.8

安装环境下载地址安装过程官方文档拷贝解压环境查看修改配置文件启动说明 使用说明

安装环境

类型版本说明linuxcentos7.1jdk1.8.0_161kafkakafka_2.11-1.0.1zookeeper3.4.11Kafka-Eagle1.4.8

下载地址

本期博客只提供 Kafka-Eagle 说明，其它软件不再叙述。

下载渠道下载链接说明官网http://www.kafka-eagle.org/点击Download下载源码https://github.com/smartloli/kafka-eagle/tree/master下载之后再 Maven 环境下执行根目录下build.sh 脚本，完成打包后，提取 kafka-eagle-web/target/kafka-eagle-web-1.4.8-bin.tar.gz 即可百度云https://pan.baidu.com/s/1T3beNHjSfLhzn6Fnw3jP_w 提取码：ezek为了方便，我已经打包好 kafka-eagle-web-1.4.8-bin.tar.gz

安装过程

官方文档

可以根据官方文档说明参考安装: 官方文档说明

拷贝解压

拷贝文件到 /data/soft 文件夹下 解压

环境查看

JDK Kafka-Eagle 1.4.8，需要的JDK环境版本为1.8+，jdk安装自行百度，这里已经安装1.8.0_161 配置 Kafka-Eagle 环境变量#编辑 vim /etc/profile #添加以下内容 export KE_HOME=/data/soft/kafka-eagle-web-1.4.8 export PATH=$PATH:$KE_HOME/bin 应用 profile 文件

修改配置文件

修改 vim conf/system-config.properties 文件配置文件说明 ###################################### # 设置Kafka多集群，这里只需要设置Zookeeper, # 系统会自动识别Kafka Broker ###################################### kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=127.0.0.1:2181 cluster2.zk.list=127.0.0.1:2181/plain cluster3.zk.list=127.0.0.1:2181/scram cluster4.zk.list=node-101:2181 ###################################### # Zookeeper线程池最大连接数 ###################################### kafka.zk.limit.size=25 ###################################### # Kafka Eagle的页面访问端口 ###################################### kafka.eagle.webui.port=8048 ###################################### # 存储消费信息的类型，一般在0.9版本之前，消费 # 信息会默认存储在Zookeeper中，所以存储类型 # 设置zookeeper即可，如果是在0.10版本之后， # 消费者信息默认存储在Kafka中，所以存储类型 # 设置为kafka。而且，在使用消费者API时，尽量 # 客户端Kafka API版本和Kafka服务端的版本保持 # 一致性。 ###################################### cluster1.kafka.eagle.offset.storage=kafka cluster2.kafka.eagle.offset.storage=kafka #cluster3.kafka.eagle.offset.storage=kafka cluster4.kafka.eagle.offset.storage=kafka ###################################### # 开启性能监控，数据默认保留30天 ###################################### kafka.eagle.metrics.charts=true kafka.eagle.metrics.retain=30 ###################################### # KSQL查询Topic数据默认是最新的5000条，如果 # 在使用KSQL查询的过程中出现异常，可以将下面 # 的false属性修改为true，Kafka Eagle会在 # 系统中自动修复错误。 ###################################### kafka.eagle.sql.topic.records.max=5000 kafka.eagle.sql.fix.error=false ###################################### # 删除Kafka Topic时需要输入删除密钥，由 # 管理员执行 ###################################### kafka.eagle.topic.token=keadmin ###################################### # 开启Kafka ACL特性，例如SCRAM或者PLAIN， # 一般生产环境会使用SCRAM来做ACL，应为SCRAM # 可以动态创建和管理用户。 ###################################### cluster1.kafka.eagle.sasl.enable=false cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-secret"; cluster1.kafka.eagle.sasl.client.id= cluster2.kafka.eagle.sasl.enable=true cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster2.kafka.eagle.sasl.mechanism=PLAIN cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret"; cluster2.kafka.eagle.sasl.client.id= ###################################### # 存储Kafka Eagle元数据信息的数据库，目前支持 # MySQL和Sqlite，默认使用Sqlite进行存储 # sqlite 存储路径修改为当前目录路径 ###################################### kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/data/soft/kafka-eagle-web-1.4.8/db/ke.db kafka.eagle.username=root kafka.eagle.password=root #kafka.eagle.driver=com.mysql.jdbc.Driver #kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #kafka.eagle.username=root #kafka.eagle.password=123456

启动说明

启动 ./bin/ke.sh start 其它参数 # 查看Kafka Eagle运行状态 ke.sh status # 停止Kafka Eagle ke.sh stop # 查看Kafka Eagle GC情况 ke.sh gc # 查看Kafka Eagle服务器资源占用情况，例如TCP、句柄等 ke.sh stats # 查看Kafka Eagle版本号 ke.sh version # 查看Kafka Eagle服务器上JDK的编码情况（如果JDK编码不是UTF-8，可能会有异常出现，执行如下命令，根据提示来修复JDK编码问题） ke.sh jdk # 查看Kafka Eagle中是否存在某个类（如果需要精确，类名前面可以加上包名） ke.sh find [ClassName]

使用说明

访问web 浏览器访问：http:[ip]:8048/ke 默认账号密码

登陆界面 -首页，该模块包含主题创建、主题管理、主题预览、KSQL查询主题、主题数据写入、主题属性配置等。

TOPIC 信息管理，可创建、csql查询等

消费组 该模块包含监控不同消费者组中的Topic被消费的详情，例如LogSize、Offsets、以及Lag等。同时，支持查看Lag的历史趋势图。

集群管理

指标监控 该模块包含监控Kafka集群和Zookeeper集群的核心指标，包含Kafka的消息发送趋势、消息大小接收与发送趋势、Zookeeper的连接数趋势等。同时，还支持查看Broker的瞬时指标数据。

预警 该模块包含告警集群异常和消费者应用Lag异常。同时，支持多种IM告警方式，例如邮件、钉钉、微信、Webhook等。

账户管理

大屏 该模块包含展示消费者和生产者当日及最近7天趋势、Kafka集群读写速度、Kafka集群历史总记录等。