问个很蠢的spark streaming问题 - JobHunting版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

JobHunting版 - 问个很蠢的spark streaming问题

相关主题
● coding test in Jive	● 问一个twitter 问题
● 祝贺peking2升级成Staff & Tech Lead	● 写Hadoop的code感觉和写一般code没啥大区别啊
● storm和spark, maprduce比有什么优势？	● 现在公司用storm的还多么？
● 也问一个最近版上G家的题	● 求twitter内推
● 有做video streaming的前辈吗	● 看到好多人骂scala
● 诚恳问个Bloomberg题目	● 谁有个save protocolbuf class from spark streaming to cassandra的example？
● storm俨然是下一个冉冉升起的新星啊 (转载)	● Hiring Lead Big Data Engineer, Graph Team
● 还有找工作的吗？	● LIVE: Wikileaks Julian Assange Press Conference 3/23/17 (

相关话题的讨论汇总
话题: api话题: tweet话题: spark话题: language

进入JobHunting版参与讨论

1

(共1页)

b**********5 发帖数: 7881	1 看了看documentation， examples，都是些简单的basic operation，比如count， join， filter啊什么的。。。我以前有个storm topology，很多bolt，其实就是一个asynchronous http call to some other API。。。但是在apache stream里，好像没有哪个transforming step是能够asynchronous http call的？比如我现在有这个 class Tweet { id; text; language; } 我现在tweet DStream，要call 一个3rd party web API，那个3rd party web api 要text， response会告诉我是什么language，然后我save到Tweet class的language field。这个在apache spark里怎么搞啊？
b**********5 发帖数: 7881	2 那你不是傻逼的，来回答啊。。。
h*******0 发帖数: 270	3 牛肉姐，这样行吗？ stream.map{asyncall}.map{ _ onSuccess {...} } 如果3rd api很慢，会导致memory不够。 spark 1.5以后有backpressure，用这个限制流量吧。

1

(共1页)

进入JobHunting版参与讨论

相关主题
● LIVE: Wikileaks Julian Assange Press Conference 3/23/17 (	● 有做video streaming的前辈吗
● 问个guangyi的面试题	● 诚恳问个Bloomberg题目
● 问个twitter 题	● storm俨然是下一个冉冉升起的新星啊 (转载)
● 你们公司python 主要做什么重要活	● 还有找工作的吗？
● coding test in Jive	● 问一个twitter 问题
● 祝贺peking2升级成Staff & Tech Lead	● 写Hadoop的code感觉和写一般code没啥大区别啊
● storm和spark, maprduce比有什么优势？	● 现在公司用storm的还多么？
● 也问一个最近版上G家的题	● 求twitter内推

相关话题的讨论汇总
话题: api话题: tweet话题: spark话题: language

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)