CentOS下sqoop安装及使用,关系型与HDFSHbase数据交换

    技术2023-03-28  116

    CentOS下sqoop安装

    1.在官网找到适合 hadoop2.X 的sqoop进行下载

    2.输入 mkdir /usr/local/sqoop 建立sqoop目录

    3.将下载好的tar包放到该目录

    4.进入该目录,输入解压命令,解压tar包

    5.输入 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 修改文件名,这里不修改也可以,主要是文件名太长了,改短点好看

    6.输入 vi /etc/profile 修改环境变量,加入以下内容,保存并退出

    SQOOP_HOME=/usr/local/sqoop/sqoop1.4.6

     

    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

    7.输入 . /etc/profile 使配置文件生效

    8.进入sqoop的conf目录,输入 cp sqoop-env-template.sh sqoop-env.sh 复制并重命名配置文件,接着输入 vi sqoop-env.sh 修改配置文件

    9.根据自己的安装目录,配置3个环境变量,具体如下,这里以hive为例,hbase就不再配置,保存并退出

    export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoop-2.7.3/

    export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoop-2.7.3/

    export HBASE_HOME=/usr/local/hbase/hbase-1.2.4/

    export HIVE_HOME=/usr/local/hive/apache-hive-0.13.0-bin/             

    10.进入sqoop的bin目录,输入 vi configure-sqoop 修改配置

    11.注释掉几个没有配置的选项,防止启动报错,保存并退出

    12.将mysql的驱动jar包放到sqoop的lib目录下

    13.输入 sqoop list-databases --connect jdbc:mysql://192.168.88.16:3306/ --username root --password Admin=123! 通过sqoop查看mysql数据库中的所有表,标红部门需要修改,IP和mysql数据库的密码根据自己电脑的设置进行修改

    14.进入hadoop的sbin目录,输入 ./start-all.sh 启动hadoop

    15.任意位置输入 hive --service metastore 开启hive数据仓库,若卡住不动如下,其实已经开启了数据仓库,直接打开另一个shell窗口操作即可(例如右键CRT的IP,点击克隆会话)

    16.任意位置输入 hive cli 进入hive客户端,再输入 show tables 查看hive中的所有表

    17.输入 exit; 退出hive客户端

    18.任意位置输入 mysql -u root -p 进入mysql

    19.输入 create database it; 创建一个名为it的库

    20.输入 use it; 切换到it库

    21.输入 create table spark(id int,name varchar(10)); 创建一张用于测试sqoop的表

    22.输入 exit 退出mysql数据库

    23.任意位置输入 sqoop import --connect jdbc:mysql://192.168.88.16:3306/it --username root --password Admin=123! --table spark --hive-import -m 1 --driver com.mysql.jdbc.Driver 将mysql的mysql库中的user表通过sqoop导入hive,注意标红位置根据自己的IP和mysql密码修改,标蓝部分为mysql的库和表

    24.任意位置输入 hive cli 进入hive客户端,然后输入 show tables; 查看hive中的表,此时多出一张spark表,这是在mysql的it库中创建的spark表。成功完成了通过使用sqoop,将mysql中的表迁移到hive

    Processed: 0.009, SQL: 9