关于map的KEY问题
xu101q
2011-09-07
第一个就是 :CombinerClass,这个类到底其一个什么样的作用呢?
我在论坛上的找到资料讲的是,实现 combine 函数,将中间结果中的重复 key 做合并。 第二个就是:PartitionerClass,这个类优势干什么的。 网上的资料说是:对中间结果的 key 排序后,用此 Partition 函数将其划分为R份,每份由一个 Reducer 负责处理 是对KEY进行排序还是 ,划分呢?感觉晕乎乎的,没明白。 第三个问题:我在map的时候,将所有的KEY都设置为1,即所有的KEY都是相同的, 程序运行到reducer的时候,就只有一个value了, 没搞懂它是怎么回事儿?它是排重吗?而且是多个MAP执行context.write();为什么只有一个reducer执行了! 新手哈~可能问的问题有点弱。。理解下! |