基于sqoop、sparkSQL、hive、HBASE简易数据分析流程

    技术2022-08-01  70

    ######

    1.sqoop导入全量数据到hive数据仓库

    1.1.全量数据维护,定时任务每天凌晨1点导入前天数据到hive分区表中

    2.sparkSQL将全量数据进行分区,并写到数据仓库分区表中

    3.在hive中根据界面原型业务创建hive按照天进行分区的结果表

    4.sparkSQL根据业务按照天进行数据分析,并将分析出的结果写到hive的结果分区表

    4.1.hive结果分区表的维护,每天凌晨1:30进行当天数据分析,并将分析结果追加到hive的结果分区表中

    5.在HBASE中创建页面需要的对应业务分析表

    6.将通过javaAPI将hive的结果分区表写到HBASE的业务表中

    6.1.HBASE业务表的维护,每天凌晨2:00点读取hive结果分区表中的数据写到HBASE中。

    7.springBoot读取HBASE中的表数据返回前段页面数据接口

     

    Processed: 0.010, SQL: 9