Hive之复杂字段分隔符

Hive中常见的字段分隔符有\001、\t、逗号、空格等单个字符的分隔符，但有时候也会碰到复杂分隔符，这些复杂分隔符不止单个字符，直接使用 fields terminated by 指定分隔符会丢失数据，此时该怎么处理呢?

测试数据：

zhangsan$%#40 lisi$%#25 wangwu$%#38

可以看出字段分隔符为：$%#

建表：

create table hive_tb( name string, age int ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerde' with SERDEPROPERTIES ("field.delim"="$%#");

此时就可以正常加载和读取数据啦！当然还可以使用正则匹配实现多字符分隔符，比上面的方法复杂，这里不做叙述了。