由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 如何用hadoop 析取各种数据?
相关主题
hadoop java 里面的SomeClass.class 是什么意思?Mrjob很赞
菜鸟请教个hadoop streaming job 的问题 (转载)是否值得把业务逻辑做到Hbase coprocessor里面?
诡异的异常处理www.company.com/report#main-report是啥语言写的?
问个Hadoop Word Count的简单问题aws EMR能设置一个mapper吗?
能不能在hadoop中用open mpi?spark is slower than java Mapreduce --scala big bulls pls advise
wiki上关于map的这段程序为什么不work?Index PDF和doc 是elasticsearch还是solr
java初学者求指点这段codeRe: 请教板上老司机 关于组和以后的发展方向
C++ template function type刚开始看python
相关话题的讨论汇总
话题: 析取话题: mapper话题: hadoop话题: break话题: 数据
进入Programming版参与讨论
1 (共1页)
s******e
发帖数: 128
1
经典hadoop例子也就是wordcount之类的一个数据。很好理解mapper和reduce 该写些什
么。 但实际上经常要从log文件中析取所有的各种数据:举个例子:要从一套log文件
中析取average height break down into gender, top 10 sites break down into
phone types, top word break down into adults/kids...。
我想不出这些情况mapper和reduce 该怎么写?
c***C
发帖数: 139
2
把log文件分割成chunks, feed给mapper得出sum跟count,reducer处理各个mapper来的
sum和count

【在 s******e 的大作中提到】
: 经典hadoop例子也就是wordcount之类的一个数据。很好理解mapper和reduce 该写些什
: 么。 但实际上经常要从log文件中析取所有的各种数据:举个例子:要从一套log文件
: 中析取average height break down into gender, top 10 sites break down into
: phone types, top word break down into adults/kids...。
: 我想不出这些情况mapper和reduce 该怎么写?

s*****V
发帖数: 21731
3
这个IDEA清汤寡水的,为啥搞出这么大声势?

【在 c***C 的大作中提到】
: 把log文件分割成chunks, feed给mapper得出sum跟count,reducer处理各个mapper来的
: sum和count

C***y
发帖数: 2546
4
扩展性好,写起来也不难

【在 s*****V 的大作中提到】
: 这个IDEA清汤寡水的,为啥搞出这么大声势?
1 (共1页)
进入Programming版参与讨论
相关主题
刚开始看python能不能在hadoop中用open mpi?
这里有人玩hadoop/hbase么? (转载)wiki上关于map的这段程序为什么不work?
[合集] Hadoop居然是用Java写的,不理解java初学者求指点这段code
CUDA 和 Hadoop 是不是算并行和分布的两个比较有前途的技术?C++ template function type
hadoop java 里面的SomeClass.class 是什么意思?Mrjob很赞
菜鸟请教个hadoop streaming job 的问题 (转载)是否值得把业务逻辑做到Hbase coprocessor里面?
诡异的异常处理www.company.com/report#main-report是啥语言写的?
问个Hadoop Word Count的简单问题aws EMR能设置一个mapper吗?
相关话题的讨论汇总
话题: 析取话题: mapper话题: hadoop话题: break话题: 数据