由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 一个用java写spark应用的问题
相关主题
有因为Spark而学习Scala的吗?要用Scala么
玩Scala需要学习Scalaz吗?请教一下,各位牛人觉得Rust语言怎么样?
学scala和spark需要什么pre req?functional programming why?
Scala会不会把Java搞成第二个C++从今天开始起,学C++!
上scala有一个直接的好处scala写个loop老难了
spark 为啥不用 java 写criticism of Scala
大家用scala都写什么?大牛们比较下 Node, Go, Scala
scala. go. clojure.学一個 学哪个?scala和monad
相关话题的讨论汇总
话题: java话题: immutable话题: scala话题: collection话题: spark
进入Programming版参与讨论
1 (共1页)
v*****n
发帖数: 30
1
如题
guava的immutable collection在组合的时候,比如concatenation的时候都是
defensive copy,这和scala的immutable collection在组合的时候行为完全不一样,
我想这主要是因为java没有val,全都是var
java下有没有什么immutable collection能和scala的immutable collection行为一样
呢?谢谢
H****S
发帖数: 1359
2
你可以在java下调用Scala的collection。

【在 v*****n 的大作中提到】
: 如题
: guava的immutable collection在组合的时候,比如concatenation的时候都是
: defensive copy,这和scala的immutable collection在组合的时候行为完全不一样,
: 我想这主要是因为java没有val,全都是var
: java下有没有什么immutable collection能和scala的immutable collection行为一样
: 呢?谢谢

v*****n
发帖数: 30
3

能说说具体怎么调用么?或者给个链接
我大概搜索了一下,scala调用java的库挺容易的,但是反过来java调用scala的库似乎
有些麻烦

【在 H****S 的大作中提到】
: 你可以在java下调用Scala的collection。
H****S
发帖数: 1359
4
先创建一个Scala project,然后在里面创建一个.java文件进行编辑,然后直接调用
scala collection。如果你的函数需要用Java collection,用JavaConversions把
Scala collection转化过来。

【在 v*****n 的大作中提到】
:
: 能说说具体怎么调用么?或者给个链接
: 我大概搜索了一下,scala调用java的库挺容易的,但是反过来java调用scala的库似乎
: 有些麻烦

n*****3
发帖数: 1584
5
抛砖引玉 一 下。
我以前 做的一 spark project, 要用 一 Java library/framwark, business
logic
都围绕 这 Java library 做的。 所以 我 就用 Java 先写个 单机版的,
然后 用Scala/spark call Java class/object
我那个project没有 同步 的问题, 所以 immutable or not is not an issue for me。


【在 H****S 的大作中提到】
: 先创建一个Scala project,然后在里面创建一个.java文件进行编辑,然后直接调用
: scala collection。如果你的函数需要用Java collection,用JavaConversions把
: Scala collection转化过来。

v*****n
发帖数: 30
6

现在问题是项目要用java project,要用java编译
我大概看了下,在java project里面用scala collection好像挺麻烦的,好像要用建个
scala class,里面要自己包装一下collection让它暴露一个java.util.List的接口出来
,然后再在java project里面用javaConversion把scala对象变成java对象。
不知道理解的对不对,我还没试,觉得这是一个比较麻烦的方案,后面debug估计还会
有各种坑

【在 H****S 的大作中提到】
: 先创建一个Scala project,然后在里面创建一个.java文件进行编辑,然后直接调用
: scala collection。如果你的函数需要用Java collection,用JavaConversions把
: Scala collection转化过来。

v*****n
发帖数: 30
7

me。
恩,我现在的问题就是java本身没有合适的像scala immutable collection一样的
persistent collection,我也打算把逻辑写到java里面,但是在reduce/group/
aggregate的时候如果是普通的immutable list会做defensive copy,因为我的对象都
是immutable的,所以这个copy完全没必要,我想避免它

【在 n*****3 的大作中提到】
: 抛砖引玉 一 下。
: 我以前 做的一 spark project, 要用 一 Java library/framwark, business
: logic
: 都围绕 这 Java library 做的。 所以 我 就用 Java 先写个 单机版的,
: 然后 用Scala/spark call Java class/object
: 我那个project没有 同步 的问题, 所以 immutable or not is not an issue for me。
:

v*****n
发帖数: 30
8

me。
恩,我现在的问题就是java本身没有合适的像scala immutable collection一样的
persistent collection,我也打算把逻辑写到java里面,但是在reduce/group/
aggregate的时候如果是普通的immutable list会做defensive copy,因为我的对象都
是immutable的,所以这个copy完全没必要,我想避免它

【在 n*****3 的大作中提到】
: 抛砖引玉 一 下。
: 我以前 做的一 spark project, 要用 一 Java library/framwark, business
: logic
: 都围绕 这 Java library 做的。 所以 我 就用 Java 先写个 单机版的,
: 然后 用Scala/spark call Java class/object
: 我那个project没有 同步 的问题, 所以 immutable or not is not an issue for me。
:

1 (共1页)
进入Programming版参与讨论
相关主题
scala和monad上scala有一个直接的好处
coursera 上scala的课上完了,作业也做完了。说说感想spark 为啥不用 java 写
FP 之我见 (长)大家用scala都写什么?
其实想学就学fp,不学就算了scala. go. clojure.学一個 学哪个?
有因为Spark而学习Scala的吗?要用Scala么
玩Scala需要学习Scalaz吗?请教一下,各位牛人觉得Rust语言怎么样?
学scala和spark需要什么pre req?functional programming why?
Scala会不会把Java搞成第二个C++从今天开始起,学C++!
相关话题的讨论汇总
话题: java话题: immutable话题: scala话题: collection话题: spark