条件

采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3 Spark集群实验环境共包含3台服务器，每台机器的主要参数如表所示：

服务器HOSTNAMEIP功能spark1spark192.16.17.1NN/DN/RM Master/Workerspark2spark292.16.17.2DN/NM/Workerspark3spark392.16.17.3DN/NM/Worker

过程

格式化NameNode节点 Hadoop集群第一次运行需要先格式化 NameNode 节点, 使用如所示命令： 启动HDFS文件系统 切换到启动脚本所在的 $HADOOP_HOME/sbin 目录，执行 start-dfs.sh 脚本： 分别在三台主机上使用jps命令验证NameNode和各DataNode： 启动YARN 此时，在 spark1 上运行的进程有 NameNode, SecondaryNameNode, DataNode, ResourceManager, NodeManager: 在spark2和spark3上运行的进程有DataNode和NodeManager：