大数据面试·Hadoop篇(三)

    技术2022-07-10  129

    大数据面试·Hadoop篇(三)

    1.3 MapReduce调优 1.3.1 数据输入阶段的调优 1.3.2 Map阶段的调优 1.3.3 Reduce阶段的调优 1.3.3.1 合理设置Map和Reduce数量 1.3.3.2 设置Map和Reduce共存 1.3.4 IO传输阶段的调优 1.3.5 MapReduce Shuffle&数据倾斜 1.3.5.1 造成数据倾斜的操作 1.3.5.2 数据倾斜的解决方案 1.3.5.3 Shuffle 1.3.6 硬件

    1.3 MapReduce调优

    MapReduce一般要从几个方面考虑:

    数据输入阶段 Map阶段 Reduce阶段 IO传输阶段 数据倾斜的优化

    Processed: 0.009, SQL: 9