大数据面试·Hadoop篇(三)
1.3 MapReduce调优
1.3.1 数据输入阶段的调优
1.3.2 Map阶段的调优
1.3.3 Reduce阶段的调优
1.3.3.1 合理设置Map和Reduce数量
1.3.3.2 设置Map和Reduce共存
1.3.4 IO传输阶段的调优
1.3.5 MapReduce Shuffle&数据倾斜
1.3.5.1 造成数据倾斜的操作
1.3.5.2 数据倾斜的解决方案
1.3.5.3 Shuffle
1.3.6 硬件
1.3 MapReduce调优
MapReduce一般要从几个方面考虑:
数据输入阶段
Map阶段
Reduce阶段
IO传输阶段
数据倾斜的优化