p*****2
发帖数: 21240 | |
z******g
发帖数: 271 | |
p*****2
发帖数: 21240 | 3
是呀。想了想也是不会有key的index。
【在 z******g 的大作中提到】
: 不太适合fine grained操作吧
|
l*****t
发帖数: 2019 | 4 不能么？我司好像准备这么干。
【在 p*****2 的大作中提到】
: 感觉如果能做k/v store会很有用。
|
p*****2
发帖数: 21240 | 5 大牛提供点细节？ 要能这么干会很有用
rdd本身不是map 是list 如果做filter的话复杂度比较高
【在 l*****t 的大作中提到】
: 不能么？我司好像准备这么干。
|
l*****t
发帖数: 2019 | 6 没细节提供呀，他们才开始spike。你有什么不可以的原因提供给我，我去提醒他们去。
【在 p*****2 的大作中提到】
: 大牛提供点细节？ 要能这么干会很有用
: rdd本身不是map 是list 如果做filter的话复杂度比较高
|
p*****2
发帖数: 21240 | 7
去。
就是我说的，RDD是一个list，你要是用key找value的话，是个O(n)的复杂度，map的话
应该是O(1)复杂度才对。你们公司要是能搞过来给我说一声呀。我挺需要这个feature.
如果有这个，redis都不需要了。
【在 l*****t 的大作中提到】
: 没细节提供呀，他们才开始spike。你有什么不可以的原因提供给我，我去提醒他们去。
|
l*****t
发帖数: 2019 | 8 then their spike will probably end really soon. thanks.
feature.
【在 p*****2 的大作中提到】
:
: 去。
: 就是我说的，RDD是一个list，你要是用key找value的话，是个O(n)的复杂度，map的话
: 应该是O(1)复杂度才对。你们公司要是能搞过来给我说一声呀。我挺需要这个feature.
: 如果有这个，redis都不需要了。
|
k*******n
发帖数: 190 | |
p*****2
发帖数: 21240 | 10
这个是不是变local cache了？不是RDD了？
【在 k*******n 的大作中提到】
: collectAsMap
|
k*******n
发帖数: 190 | 11 map1=sc.broadCast(rdd1.collectAsMap) |
