sqoop import SqlServer to hive

使用sqoop导出SqlServer数据库具体表数据到Hive数据库：

sqoop import语句：

按表中字段筛选$SQOOP_HOME/bin/sqoop import \--connect 'jdbc:sqlserver://168.16.8.168:5419;database=database_name' \--username 'user' \--password '12345678' \--table dt_tablename \ --columns 'id,createtime,name,mobile' \--null-string '\\N' \ ##没有这个，导入的数据值都为NULL --hive-import \--hive-database hiveDatabase \--hive-table tablename_h \ --fields-terminated-by '\001' \ --hive-drop-import-delims \--incremental append \ --check-column id \ --last-value 1 \ --m 2自主写sql

/bin/sqoop import \--connect 'jdbc:sqlserver://168.16.8.168:5419;database=database_name' \--username 'user' \--password '12345678' \--query 'select id,name,mobile,source from wx_member' \--null-string '\\N' \ --hive-import \ --hive-database rt1 \ --hive-table wx_member_hs \ --fields-terminated-by '\001' \ --hive-drop-import-delims \ --incremental append \ --check-column id \ --last-value 1 \ --m 2

注意，用--query When importing a free-form query, you must specify a destination directory with --target-dir.

导入自由格式查询时，必须使用--target dir指定目标目录。

  

sqoop参数说明：

--columns <col,col,col…>Columns to export to table  -e,--query <statement>

Sqoop can also import the result set of an arbitrary SQL query.  Instead of using the --table, --columns and --where arguments, you can specify a SQL statement with the --query argument.

Sqoop还可以导入任意SQL查询的结果集。可以使用--query参数指定SQL语句，而不是使用--table、--columns和--where参数。

注意不和 --table, --columns and --where 一起使用。

  --create-hive-table

If set, then the job will fail if the target hive table exits. By default this property is false.

如果设置，则如果目标配置单元表退出，则作业将失败。默认情况下，此属性为false。

--hive-overwrite

Overwrite existing data in the Hive table.

覆盖配置单元表中的现有数据

--hive-drop-import-delims

Drops \n, \r, and \01 from string fields when importing to Hive.

导入配置单元时，从字符串字段中删除\n、\r和\01。

--incremental

Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.

指定Sqoop如何确定哪些行是新的。合法值包括mode，append和lastmodified。

--null-string '\\N'

The string to be written for a null value for string columns

要为字符串列的空值写入的字符串

详细信息见官网7.2.12. Importing Data Into Hive

        

更新中。。。

官网地址：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive