SparkCore-2-Spark几种提交方式

    技术2025-11-04  25

    1.local

    仅用于开发环境单机调试。

    2.standalone方式

    standalone是spark自带的资源调度框架。这种方式下需要配置Mater和Worker,并启动Master服务(如7077端口的)。该模式下,也可以client或cluster模式运行。

    standalone-client standalone-cluster

    3.Yarn方式

    standalone是启动了Master服务。当使用yarn时,不再需要spark期 服务,可以当成是standalone和yarn是平级的关系。

    Processed: 0.048, SQL: 12