博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop中的计数器(12)
阅读量:6244 次
发布时间:2019-06-22

本文共 1174 字,大约阅读时间需要 3 分钟。

hot3.png

package mapreduce;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Counter;import org.apache.hadoop.mapreduce.Mapper;/** * KEYIN	即k1		业务上表示每一行的起始位置,又称偏移量 * VALUEIN	即v1		业务上表示每一行的文本内容 * KEYOUT	即k2		业务上表示每一行的每个单词 * VALUEOUT	即v2		业务上表示每一行的每个单词出现的次数,常量1 * @author Xr * */public class MyMapper extends Mapper
 { /**  * 解析每一行的文本,解析成每一个单词,统计每一个单词出现的次数  */ @Override protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException { //计数器 Counter counter = context.getCounter("Words", "hello"); //counter.setValue("");//设置初始值 //每一行的文本内容 String string = value.toString(); if(string.contains("hello")){ int times = string.split("hello").length-1; counter.increment(times);//自动累加 } //每一行包含的单词数组 String[] split = string.split(" "); for(String word : split){ context.write(new Text(word), new LongWritable(1)); } }}                                                                    Name:Xr                                                                    Date:2014-03-04 21:20

转载于:https://my.oschina.net/Xiao629/blog/205174

你可能感兴趣的文章
【step by step构建轻量级web框架】轻量级框架jbeer预览
查看>>
Spring2.5整合ActiveMQ 5.2
查看>>
浅析Struts1和Struts2的Action线程安全问题
查看>>
java-颠倒一个句子中的词的顺序。比如: I am a student颠倒后变成:student a am I
查看>>
HDU 2017
查看>>
yaml文件java的实现
查看>>
NO.142 执行用例,并提交bug,查看报表统计。
查看>>
LVM实现原理(pv,vg,lv,pe,le)
查看>>
我的友情链接
查看>>
cisco交换机IP/MAC***防范
查看>>
8、Python —— 输入输出
查看>>
我的友情链接
查看>>
[转]Shell 统计PV, UV ,独立IP
查看>>
Flash网页甘特图控件
查看>>
yii2 csrf验证以及token管理
查看>>
一步一步理解Java企业级应用的可扩展性
查看>>
存储非结构化数据之利器-minio
查看>>
苹果个人开发者账号申请
查看>>
SSH双机互信及错误解决大全
查看>>
adb命令详解
查看>>