【Spark】spark安装与spark shell运行（1）

windows电脑安装参考：Spark学习笔记--Spark在Windows下的环境搭建，特别提示一下，可以不用安装hadoop，如果只是学习的话。（windows安装肯定只是为了学习啊。。。）

 

spark任务执行过程简介

Yarn和Spark的StandAlone调度模式对比

YarnSpark作用ResouceManagerMaster管理子节点、资源调度、接收任务请求NodeMangerWorker管理当前节点，并管理子进程YarnChildExecutor运行真正的计算逻辑的（Task）Client

SparkSubmit

（相当于yarn的Client + ApplicaitonMaster）

提交app，管理该任务的Executor（提交任务，并上传jar包ApplicaitonMaster 并将Task提交到（Executor）

用idea编写spark程序

创建RDD，然后对RDD进行操作（调用RDD的方法，方法分为两类，一个叫Transformation(懒 lazy)，一类叫Action（会执行任务））

rdd上的方法和scala原生的方法是有区别的

写好程序，打包上传集群运行

本地模式运行spark程序，setMaster("local[*]")