boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 问一个mapreduce题目
相关主题
关于mapreduce一问
Google的那个mapreduce的paper感觉基本是看过这类paper里最简单的了
是否值得把业务逻辑做到Hbase coprocessor里面?
aws EMR能设置一个mapper吗?
问一道HIVE题 关于Efficiency
问个Hadoop Word Count的简单问题
新版12306很像魏老师所说
在讨论12306前
java的内存管理真是气死我了
GPU高手谈谈怎么利用GPU做data intensive的计算和mapreduce 吧
相关话题的讨论汇总
话题: mapreduce话题: 题目话题: 访问话题: url话题: ip
进入Programming版参与讨论
1 (共1页)
t**r
发帖数: 3428
1
给几个t的数据 都是 被访问url, 访问ip。
求结果是 某url: 每个 ip : 访问次数
用map reduce
求大神给说个思路或者简单代码。
多谢
n****j
发帖数: 1708
2
这种东西最好交给 DB,将来 log 增加不需要重新算。load 的时候最好切分一下,用
程序统计喂给 DB,免得中间断电找不着北了。
reduce 没啥花样,map 看你输出要求了,如果 js 我就放一个 obj, result[url][ip]
酱紫,看 ram 够不够了。

【在 t**r 的大作中提到】
: 给几个t的数据 都是 被访问url, 访问ip。
: 求结果是 某url: 每个 ip : 访问次数
: 用map reduce
: 求大神给说个思路或者简单代码。
: 多谢

1 (共1页)
进入Programming版参与讨论
相关主题
GPU高手谈谈怎么利用GPU做data intensive的计算和mapreduce 吧
想画分布式系统架构图,类似Google的mapreduce系统,用什么软件比较好?
请教一个graph问题
big data怎么搞定商业报表?
是我的错觉么?我觉得google的三架马车其实没啥东西
求建议:商业数据使用
春运网站架构之争 MapReduce vs MPI
铁道部网上卖票系统现在运行如何?
大妈是推动技术发展的最大推动力
问一个关于C×和HBASE的性能比较问题
相关话题的讨论汇总
话题: mapreduce话题: 题目话题: 访问话题: url话题: ip