MapReduce中mapTask和reduceTask任务数

    技术2025-12-15  12

    MapReduce分为map阶段和reduce阶段,两个阶段都是多个任务并行处理

    map阶段:MapTask个数为 number of splits(输入文件的切分数)

    reduce阶段:ReduceTask个数为number of partition (分区数,有几个分区就会最终输出几个文件)

     

    Processed: 0.019, SQL: 9