HQL 静态分区

1. 什么是分区

直白一点来说，分区就是在表目录下建立子目录。

2. 为什么要使用分区

随着系统运行时间的增长，数据文件就会越来越大，当Hive对文件进行搜索时，会对全表进行搜索，导致效率降低。而分区的作用就是将表目录下的文件进行分类，将数据分类后进行存储，这样就会避免全表搜索，提高查询效率。

3.什么是静态分区

静态分区就是添加数据时需要手动指定分区

4. 创建静态分区

4.1 语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]

4.2 案例

# 1. 创建一级分区 CREATE TABLE IF NOT EXISTS t_part ( uid int, uname string, sex string, age int ) PARTITIONED BY(country string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; # 导入数据 load data local inpath '/home/user_china.txt' into table t_part partition(country='china'); # 2. 创建二级分区 create table if not exists t_part( uid int, uname string, sex string, age int) partitioned by(year string, month string) row format delimited fields terminated by '\t'; # 添加数据 load data local inpath '/home/user-2019-11-11.txt' into table t_part partition(year='2019', month='11'); load data local inpath '/home/user-2019-12-12.txt' into table t_part partition(year='2019', month='12'); load data local inpath '/home/user-2019-01-12.txt' into table t_part partition(year='2019', month='01');

4.3 注意事项

1. hive的分区名称区分大小写 2. hive分区的本质是在表下创建子目录，但是该分区字段是一个伪列（在数据中不存在，但是却可以查询） e.g. 分区目录名：province='杭州' - hive的分区和mysql分区的区别： * hive的分区使用表外字段，是一个伪列 * mysql使用的是表内字段，即不用分区也可以直接查询 3. 一张表中可以存在一个或多个分区；分区之下又可以存在一个或多个分区。 4. 在分区的时候分区值是有区别的，比如day=1和day=01是两个不同的参数值，申明一定请注意。

5 显示分区

show partitions tablename;

6 修改分区

6.1 修改分区名称

ALTER TABLE table_name PARTITION partition_spec RENAME TO PARTITION partition_spec; e.g. alter table t_2 partition(country='japon') rename to partition(country='usa');

6.2 增加分区

ALTER TABLE t_part ADD PARTITION(country='korea'); ALTER TABLE t_part ADD PARTITION(country='france') PARTITION(country='italy');

6.3 添加分区并设置数据

ALTER TABLE t_part ADD PARTITION(country='korea') LOCATION '/user/hive/warehourse/hive.db/t_part/country=china';

6.4 修改分区在hdfs中存储路径

ALTER TABLE t_part PARTITION(country='korea') SET LOCATION 'hdfs://hbase1:9000/user/hive/warehourse/hive.db/t_part/country=spain';

6.5 删除分区

ALTER TABLE t_part DROP PARTITION(country='korea'); ALTER TABLE t_part DROP PARTITION(country='france'),PARTITION(country='italy');