spark 启动

    技术2022-07-21  81

    如果发现worker节点启动的时候,总是报连接不上master:7077端口

    因为启动的时候,你通过start-all.sh启动,这时间读取的都是master节点上面的配置文件;你修改worker节点的配置文件是没有效果的

    注意配置文件的键值要看之前的template 文件中定义的键值,可能与之前的版本不同

     

    spark-2.4.6版本的  SPARK_MASTER_HOST  而没有SPARK_MASTER_IP  

    如果你配置了SPARK_MASTER_IP  ,这时候启动worker节点的时候,会直接读取master的hostename来当默认的域名,而不会用SPARK_MASTER_IP的配置

    Processed: 0.009, SQL: 9