n****y 发帖数: 656 | 1 近来想赶时髦学点cloud/big data computing,下载了Hadoop等一堆Apache的package,
安装在Linux的VM上玩了玩,但苦于自己没有Linux cluster, 无法真正跑一些parallel
的task。不知道有没有什么免费的cloud平台可以deploy 一些应用程序在cluster上,
然后支持自己设置参数,甚至修改底层的library. | a********x 发帖数: 1502 | 2 EC2其实真不太贵。你就用用它家的免费的mini instance先跑跑小玩意吧
parallel
【在 n****y 的大作中提到】 : 近来想赶时髦学点cloud/big data computing,下载了Hadoop等一堆Apache的package, : 安装在Linux的VM上玩了玩,但苦于自己没有Linux cluster, 无法真正跑一些parallel : 的task。不知道有没有什么免费的cloud平台可以deploy 一些应用程序在cluster上, : 然后支持自己设置参数,甚至修改底层的library.
| d**********x 发帖数: 4083 | 3 恩。。我也在搞这个
package,
上,
【在 a********x 的大作中提到】 : EC2其实真不太贵。你就用用它家的免费的mini instance先跑跑小玩意吧 : : parallel
| v*****r 发帖数: 2325 | 4 现在这个是热。公司其他组有个hadoop on cluster, 据说很慢, 有人说没有调好。
初步看了一下, 说是便宜相对传统的DMBS, 而且适合"unstructured data".
很多consulting 公司在赚这方面的钱。那个walmart labs 也是几个烙印.
我的问题是, hadoop 是怎么解决big data challenge的?
hadoop setting up and performance tuning 很需要技巧吗?
parallel
【在 n****y 的大作中提到】 : 近来想赶时髦学点cloud/big data computing,下载了Hadoop等一堆Apache的package, : 安装在Linux的VM上玩了玩,但苦于自己没有Linux cluster, 无法真正跑一些parallel : 的task。不知道有没有什么免费的cloud平台可以deploy 一些应用程序在cluster上, : 然后支持自己设置参数,甚至修改底层的library.
| v*****r 发帖数: 2325 | 5 Hadoop excels in handling raw, unstructured and complex data with vast
programming flexibility
at bottom is HDFS (file system), i can understand the programming
flexibility.
distributed nodes avoid moving data around. for big data environment,
distributed nodes are natural, put on a distributed file system with
parallel processing capability is natural approach.
still need to understand how HDFS is able to manage a larger set of files
than other files systems, say NTFS, ext...
http://en.wikipedia.org/wiki/List_of_file_systems#Distributed_f
or HDFS is better than other DFS. maybe HDFS is free and only requires
cheap hardware.
【在 v*****r 的大作中提到】 : 现在这个是热。公司其他组有个hadoop on cluster, 据说很慢, 有人说没有调好。 : 初步看了一下, 说是便宜相对传统的DMBS, 而且适合"unstructured data". : 很多consulting 公司在赚这方面的钱。那个walmart labs 也是几个烙印. : 我的问题是, hadoop 是怎么解决big data challenge的? : hadoop setting up and performance tuning 很需要技巧吗? : : parallel
|
|