spark学习笔记

    技术2022-07-13  93

    spark学习零碎笔记(web-ui)

    问题:web-ui可以帮助我们更清楚看到spark的jobs的运行情况,但是刚开始跑spark(local模式)时发现一个疑问,就是用spark-shell运行时,web-ui会一直可以访问,但是关闭spark-shell,手动spark-submit提交job运行时,发现web-ui连接不上。 原因:运行spark-shell脚本时,里面的APP是一直在running,所以可以打开web-ui,但是手动spark-submit提交job,当job运行完毕,web-ui就会关闭,只有在提交的job正在运行过程中,才能连接上web-ui,完毕后就连接不上。

    Processed: 0.014, SQL: 9