Hadoop HDFS 安装

    技术2026-01-30  6

    在主目录下创建app、software、data 三个目录

    software 软件包目录

    app 软件安装目录

    data 数据目录

     

    1.下载Hadoop

     

    CDH相关的软件下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    生产或者测试环境选择对应CDH版本时,一定要采用尾号是一样的版本,我这里采用

    cdh-5.7.0.tar.gz 结尾的软件,可以先把后续的Hive、Hbase、Spark先下载好。

    Linux下载命令 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

     

    2. 安装jdk

    下载jdk包

    解压到app目录:tar -zxvf jdk-8811-linux-x64.tar.gz -C  ../app

    验证安装是否成功:

    cd ../app/jdk1.8.0_11/bin

    ./java  -version

    环境变量配置

    vi  ~/.bash_profile

    在文件中加上如下配置

      export JAVA_HOME=/home/yliang/app/jdk1.8.0_11

    export PATH=$JAVA_HOME/bin:$PATH

    执行source  ~/.bash_profile命令,刷新配置

    现在就可以通过命令 java -version查看配置是否成功。

     

    3.机器参数配置

    hostname :hadoop001

     

    修改机器名:vi  /etc/sysconfig/network

    在文件中加上如下信息

    NETWORKING=yes

    HOSTNAME=hadoop001

    设置ip和hostname的映射关系: vi  /etc/hosts

    192.168.232.128   hadoop001

    127.0.0.1  localhost

     

    ssh免密码登录(本步骤可以省略,但是后面重启hadoop进程时需手工输入密码)

    ssh-keygen -t rsa

    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

    4. hadoop配置文件修改

    解压安装包

    cd  ../app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

    vi  hadoop-env.sh

    export JAVA_HOME=/home/yliang/app/jdk1.7.0_51

     

    vi  core-site.xml

    <property>

             <name>fs.defaultFS</name>

             <value>hdfs://hadoop001:8020</value>

         </property>

     

         <property>

             <name>hadoop.tmp.dir</name>

             <value>/home/hadoop/app/tmp</value>

         </property>

     

       vi   hdfs-site.xml

         <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

    <property>

                    <name>dfs.namenode.http.address</name>

                    <value>hadoop001:50070</value>

            </property>

     

    5. 格式化HDFS

    注意:这一步操作,只是在第一次操作时只需,每次如果都格式化的话,那么HDFS上的数据就会被清空

    cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/bin/

    ./hdfs namenode -format

     

    6. 关闭防火墙

    查看防火墙命令:service iptables status

    关闭防火墙命令:service iptables stop

     

    7. 启动HDFS

    cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/

    ./start-dfs.sh

     

    验证是否启动成功:

    jps

    DataNode

    SecondaryNameNode

    NameNode

     

    浏览器

    http://hadoop001:50070/

     

    8. 停止HDFS

    cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/

    ./stop-dfs.sh

    Processed: 0.014, SQL: 9