由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - coltzhao等scala党说说streaming吧
相关主题
大家用scala都写什么?Spark PK Akka 完胜呀
Spark会干掉Storm吗?scala 真是一个无法无天的糟货
大家用spark streaming很爽吗?clojure这语言真不错
Flink可以contribute大学里面14年下半年的学期要教streaming programming
这里 大大牛多久学会spark?玩Scala需要学习Scalaz吗?
谁有个save protocolbuf class from spark streaming to cassan (转载)参加scala days的唯一感受
这次python糗大了akka/scala/jvm
我还是认为scala的程序员水平高大牛们给说说学习scala路径?
相关话题的讨论汇总
话题: streaming话题: coltzhao话题: scala话题: akka话题: spark
进入Programming版参与讨论
1 (共1页)
z****e
发帖数: 54598
1
看了看其他语言,没啥意思,都是老东西
streaming貌似很火?我看vert.x这块还是experimental
说说有啥搞头?难点在哪?
l**********n
发帖数: 8443
2
不就是个pub/sub pattern吗?
z****e
发帖数: 54598
3
那是message吧,这个还有啥好做的
我看不像啊,感觉akka里面这块很高大上的样子
想看看里面有啥神秘的地方

【在 l**********n 的大作中提到】
: 不就是个pub/sub pattern吗?
z****e
发帖数: 54598
4
我觉得你说得不对
我看了下介绍
streaming最麻烦得不是什么sub
而是如何push back
整个系统就像是一个比较流动的一个东西
如果不加以控制,极端情况很快就会把所有内存consume掉
彻底爆掉内存

【在 l**********n 的大作中提到】
: 不就是个pub/sub pattern吗?
l**********n
发帖数: 8443
5
就是akka替你管理线程了。其实你用Java Future一样能实现。

【在 z****e 的大作中提到】
: 那是message吧,这个还有啥好做的
: 我看不像啊,感觉akka里面这块很高大上的样子
: 想看看里面有啥神秘的地方

l**********n
发帖数: 8443
6
java future怎么处理exception?
z****e
发帖数: 54598
7
错了吧
这个应该是data的stream
难点是pump back

【在 l**********n 的大作中提到】
: 就是akka替你管理线程了。其实你用Java Future一样能实现。
z****e
发帖数: 54598
8
monad方式处理
顺便
http://vert-x3.github.io/docs/vertx-reactive-streams/java/index
上次说rxjava的时候不是说没有pump嘛
现在有了

【在 l**********n 的大作中提到】
: java future怎么处理exception?
l**********n
发帖数: 8443
9
push back不是streaming, 是Web Socket。 protocol范畴了。

【在 z****e 的大作中提到】
: 我觉得你说得不对
: 我看了下介绍
: streaming最麻烦得不是什么sub
: 而是如何push back
: 整个系统就像是一个比较流动的一个东西
: 如果不加以控制,极端情况很快就会把所有内存consume掉
: 彻底爆掉内存

z****e
发帖数: 54598
10
直接写web socket太蛋疼了
还是找个wrapper上了
http://vert-x3.github.io/docs/vertx-reactive-streams/java/index

【在 l**********n 的大作中提到】
: push back不是streaming, 是Web Socket。 protocol范畴了。
相关主题
谁有个save protocolbuf class from spark streaming to cassan (转载)Spark PK Akka 完胜呀
这次python糗大了scala 真是一个无法无天的糟货
我还是认为scala的程序员水平高clojure这语言真不错
进入Programming版参与讨论
l**********n
发帖数: 8443
11
你这个还是基于TCP的吧?

【在 z****e 的大作中提到】
: 直接写web socket太蛋疼了
: 还是找个wrapper上了
: http://vert-x3.github.io/docs/vertx-reactive-streams/java/index

z****e
发帖数: 54598
12
streaming这种还用http吗?
感觉有些作死啊

【在 l**********n 的大作中提到】
: 你这个还是基于TCP的吧?
p*****2
发帖数: 21240
13

Spark streaming
Akka streams
个人推荐Spark。

【在 z****e 的大作中提到】
: 看了看其他语言,没啥意思,都是老东西
: streaming貌似很火?我看vert.x这块还是experimental
: 说说有啥搞头?难点在哪?

l**********n
发帖数: 8443
14
那你说用啥?

【在 z****e 的大作中提到】
: streaming这种还用http吗?
: 感觉有些作死啊

z****e
发帖数: 54598
15
tcp

【在 l**********n 的大作中提到】
: 那你说用啥?
l**********n
发帖数: 8443
16
akka一点也没啥。
l**********n
发帖数: 8443
17
总而言之,像scala这种语言,就是把事情搞复杂了。
z****e
发帖数: 54598
18
所以vert.x把他们变简单

【在 l**********n 的大作中提到】
: 总而言之,像scala这种语言,就是把事情搞复杂了。
l**********n
发帖数: 8443
19
不错。

【在 z****e 的大作中提到】
: 所以vert.x把他们变简单
z****e
发帖数: 54598
20

除了spark能用,其他都用不了
或者感觉很怪异,如果稍微加点修改的话
akka那种方式才是王道
况且我需要在actor之间做streaming,而不是仅仅跟spark搞

【在 p*****2 的大作中提到】
:
: Spark streaming
: Akka streams
: 个人推荐Spark。

相关主题
大学里面14年下半年的学期要教streaming programmingakka/scala/jvm
玩Scala需要学习Scalaz吗?大牛们给说说学习scala路径?
参加scala days的唯一感受谈谈为什么上scala
进入Programming版参与讨论
c******o
发帖数: 1277
21
Streaming 只是一个概念。
用真实世界来说,就是吧你的感觉(Input)和行动(Output)
看成是一个无始无终的事件序列,而且这个序列由于时间的单向性,历史是不能改变的
(immutable), 未来是不知道的(lazy loading), 你可以用历史来处理现在,来影响
未来。
rx的observer, scala的stream, java的stream都是这个概念的一种理解和实现。
spark 的 stream也是这个概念的一种理解和实现,不过实在软件结构而不是语言上了。
c******o
发帖数: 1277
22
现在的趋势就是用functional combinator:
map/fold/reduce/zip等等来做 streaming transformation.
z****e
发帖数: 54598
23
那pump啥时候用?

【在 c******o 的大作中提到】
: 现在的趋势就是用functional combinator:
: map/fold/reduce/zip等等来做 streaming transformation.

H****S
发帖数: 1359
24
早就说过scalaz-stream,天生克服back pressure。基本原理fpis最后一章就是。

【在 z****e 的大作中提到】
: 看了看其他语言,没啥意思,都是老东西
: streaming貌似很火?我看vert.x这块还是experimental
: 说说有啥搞头?难点在哪?

g*****g
发帖数: 34805
25
任何系统publisher比subscriber快就会有back pressure的问题,我不觉得有什么语言
能够天生客服,这个不符合物理。

【在 H****S 的大作中提到】
: 早就说过scalaz-stream,天生克服back pressure。基本原理fpis最后一章就是。
H****S
发帖数: 1359
26


【在 g*****g 的大作中提到】
: 任何系统publisher比subscriber快就会有back pressure的问题,我不觉得有什么语言
: 能够天生客服,这个不符合物理。

1 (共1页)
进入Programming版参与讨论
相关主题
大牛们给说说学习scala路径?这里 大大牛多久学会spark?
谈谈为什么上scala谁有个save protocolbuf class from spark streaming to cassan (转载)
akka, play, spark怎么学?这次python糗大了
自学 scala,akka, play,spark 再刷leetcode,有机会进t 么我还是认为scala的程序员水平高
大家用scala都写什么?Spark PK Akka 完胜呀
Spark会干掉Storm吗?scala 真是一个无法无天的糟货
大家用spark streaming很爽吗?clojure这语言真不错
Flink可以contribute大学里面14年下半年的学期要教streaming programming
相关话题的讨论汇总
话题: streaming话题: coltzhao话题: scala话题: akka话题: spark