某天早上集群报警,磁盘、内存等报警,我一看发现如下图
某个目录已经使用了100%,剩余0;
然后我快速定位到了Azkaban出现了问题,某个目录下存有大量历史文件;
该目录就是Azkaban的安装目录下
/xxxxxxxxx/azkaban-executor-xxxxx/bin/executions/
这些其实都是历史运行部分信息,但是随着Azkaban使用/更新的时长变多,慢慢累积了大量的小文件。导致磁盘空间不足;
解决方案:
这里我写了一个脚本,定向清理某个目录下的历史无用数据,给Azkaban加速;