hive Error: Java heap space

    技术2022-07-14  96

    数据由sdf层到dwb层

    sdf数据只有259.9M,结果跑了N次都是 

    FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

    到YARN查询节点日志

    FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

    第一意识map内存不足

    解决办法:在执行申请了前加上 set mapreduce.map.memory.mb=2048

    问题解决

    同时回顾下

    set mapred.max.split.size 设置分割大小 可增大map个数

    set mapreduce.reduce.memory.mb 设置reduce内存大小

     

    tblproperties("skip.header.line.count"="1") 导入csv文件时 指定跳过第一行

    Processed: 0.009, SQL: 9