整理了一下使用Docker来快速搭建一套ELK日志分析系统的方法。

1. 部署elk

github上有人整理了一套使用docker compose来部署elk的配置，可直接下载使用。

git clone https://github.com/deviantony/docker-elk.git

 

当前是基于7.7.1版（docker-elk目录下.env文件中定义，可修改）。

可以调整一下相应的配置，不设置可以直接也可以跳过这一步。

修改docker-compose，设置es密码等，

vim docker-compose.yml # 在elasticsearch部分设置环境变量，将jvm堆内存增大到了1g，设置es elastic用户的密码 environment: ES_JAVA_OPTS: "-Xmx1g -Xms1g" ELASTIC_PASSWORD: Passw0rd # 新增监听端口号8010 udp，不使用udp搜集数据可以不开启 ports: - "8010:8010/udp" # 将jvm内存也增大一点 environment: LS_JAVA_OPTS: "-Xmx512m -Xms512m" # 在volumes部分增加es数据目录的挂载，对es数据持久化，避免容器销毁数据丢失 volumes: - /mnt/elk/esdata:/usr/share/elasticsearch/data

注意：因为es容器内部是以elasticsearch用户启动进程的，所以在做持久化数据目录挂载的时候，需要将目录权限进行设置，否则会因为没有访问权限而启动失败。elasticsearch的uid是1000，可以建一个uid为1000的用户，然后将目录所有者赋予该用户。

 

修改es配置文件，将xpack从trial改为basic，禁用付费功能（测试环境可以不用修改）

vim elasticsearch/config/elasticsearch.yml #xpack.license.self_generated.type: trial xpack.license.self_generated.type: basic

 

修改logstash的pipeline配置

## vim logstash/pipeline/logstash.conf input { ## 使用redis搜集数据 redis { id => "RedisLog" batch_count => 1 data_type => "list" key => "kg:basic:log" host => "127.0.0.1" port => 6379 password => "1q2w3e4r" db => 6 threads => "5" type => "kglog" } ## 使用UDP收集数据 udp { id => "UdpLog" port => 8010 type => "udplog" codec => json } } ## 添加到elasticsearch或者在磁盘中打印，磁盘打印可以方便测试数据是否收集成功，上线后删除即可 output { if[type] == "kglog"{ elasticsearch { hosts => "elasticsearch:9200" user => "elastic" password => "changeme" index => "kg-log" } } if[type] == "udplog"{ elasticsearch { hosts => "elasticsearch:9200" user => "elastic" password => "changeme" index => "udp-log" } } file { path => "/var/tmp/udp.log" } }

 

配置调整后，使用 docker-compose up -d 即可启动es，logstash，kibana三个容器。第一次启动需要下载所有镜像，会比较慢，启动完后，访问 elk所在服务器IP:5601即可进入kibana页面。

2. 调测

使用nc（netcat）测试udp协议与端口连通性，来判断数据是否搜集成功

$ echo "nc-test" | nc -u 106.14.145.99 8010 # ip换成自己的服务器地址即可，请注意务必在服务器安全组访问规则中开启8010 UDP # 查看logstash中的数据收集情况 $ docker-compose exec logstash bash $ tail -f /var/tmp/udp.log # 没有此文件或没有日志则没有收集成功，排查端口和安全规则

3. 使用Kibana

检查索引是否启用

 

添加Kibana索引

然后就可以愉快地玩耍了

3. 总结

本文整理了基于Docker来搭建ELK框架的整个过程，供参考。