TestPartitioner.zip
下载
源码 大数据
查看(10)

所属分类:大数据 > spark
文件大小:1.19 KB
上传日期:2020-07-22 16:24
MD5:8fdecae325************5d39312add
资源说明:在进行MapReduce计算时,有时需要把最终的输出数据分到不同的文件中。这就需要Mapper任务划分数据,把不同的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程叫Partition,负责划分数据的类叫Partitioner。Partitioner的作用是针对Mapper阶段的中间数据进行切分,然后将相同分片的数据交给同一个reduce处理。Partitioner过程其实就是Mapper阶段shuffle过程中关键的一部分。
移动页面: MIP AMP

[资源合计] 文件夹:0,文件:1

# 文件名称 大小 最后修改时间
1 TestPartitioner.java 3.64 KB 2020/7/22 15:57:15

请留下有营养的评论,广告灌水一律拉黑处理,谢谢合作!