######
1.sqoop导入全量数据到hive数据仓库
1.1.全量数据维护,定时任务每天凌晨1点导入前天数据到hive分区表中
2.sparkSQL将全量数据进行分区,并写到数据仓库分区表中
3.在hive中根据界面原型业务创建hive按照天进行分区的结果表
4.sparkSQL根据业务按照天进行数据分析,并将分析出的结果写到hive的结果分区表
4.1.hive结果分区表的维护,每天凌晨1:30进行当天数据分析,并将分析结果追加到hive的结果分区表中
5.在HBASE中创建页面需要的对应业务分析表
6.将通过javaAPI将hive的结果分区表写到HBASE的业务表中
6.1.HBASE业务表的维护,每天凌晨2:00点读取hive结果分区表中的数据写到HBASE中。
7.springBoot读取HBASE中的表数据返回前段页面数据接口