Azkaban执行目录产生小文件过多导致的问题

    技术2022-07-11  144

    某天早上集群报警,磁盘、内存等报警,我一看发现如下图

     

     

    某个目录已经使用了100%,剩余0;

     

    然后我快速定位到了Azkaban出现了问题,某个目录下存有大量历史文件;

     

     

    该目录就是Azkaban的安装目录下

    /xxxxxxxxx/azkaban-executor-xxxxx/bin/executions/

     

    这些其实都是历史运行部分信息,但是随着Azkaban使用/更新的时长变多,慢慢累积了大量的小文件。导致磁盘空间不足;

     

    解决方案:

    这里我写了一个脚本,定向清理某个目录下的历史无用数据,给Azkaban加速;

     

    Processed: 0.012, SQL: 9