k****r
发帖数: 807 | 1 1. 如果想在cluster里面写一个简单的remote写文件的程序，用python+http是不是合
适，文件大小是几十M，可能是表的形式。
2. 如果是kafka substribe的数据，这样的streaming怎么再remote传给别的node呢，
python+http是否合适。简单的http post可以做到吗？
谢谢。 |
h*i
发帖数: 3446 | 2 python+http蛮好的，糙块猛。现在python的生态环境我觉得比java都要强一点了。
前两天我把wdong的kgraph给用python http server包一下在docker上用，一个小时搞
定，我平时都不用python的，现google。
【在 k****r 的大作中提到】
: 1. 如果想在cluster里面写一个简单的remote写文件的程序，用python+http是不是合
: 适，文件大小是几十M，可能是表的形式。
: 2. 如果是kafka substribe的数据，这样的streaming怎么再remote传给别的node呢，
: python+http是否合适。简单的http post可以做到吗？
: 谢谢。
|
w***g
发帖数: 5958 | 3 1. remote写文件：NFS或者写完了scp/rsync过去。
2. 同上，或者在remote node上也开一个kafka。
http post只是个协议，不是不能用，你总得有个web service来接收http post吧？
如果是python, RPyC比用http写web service或者thrift啥的要方便得多。
不知道你想干嘛，只能给这么多建议。
【在 k****r 的大作中提到】
: 1. 如果想在cluster里面写一个简单的remote写文件的程序，用python+http是不是合
: 适，文件大小是几十M，可能是表的形式。
: 2. 如果是kafka substribe的数据，这样的streaming怎么再remote传给别的node呢，
: python+http是否合适。简单的http post可以做到吗？
: 谢谢。
|
h*i
发帖数: 3446 | 4 这个得看个人吧，你搞底层的东东搞习惯了，对很多人来说，搞web service要比搞RPC
容易太多了。python web工具一堆堆的，随便狗一下就可以搞定的东西，为啥要搞RPC
这种妖哦子。
【在 w***g 的大作中提到】
: 1. remote写文件：NFS或者写完了scp/rsync过去。
: 2. 同上，或者在remote node上也开一个kafka。
: http post只是个协议，不是不能用，你总得有个web service来接收http post吧？
: 如果是python, RPyC比用http写web service或者thrift啥的要方便得多。
: 不知道你想干嘛，只能给这么多建议。
|
k****r
发帖数: 807 | 5 我也是搞底层的。
我是想streaming的东东，remote到其他node上，最终是要写到database里面去的。
但是第一步是想先能传过去，写到disk上先。
我也觉得用http需要web接受，所以不明白，如果想先写到disk上去，用什么样的技术
比较好。
用python，不需要http连接就可以完成这样的工作吗？
好厉害，一个小时可以搞定，可不可以share一下你的思路，或是告诉我在那里可以找
到现成差不多可以用的，我对python不熟悉也，确切的说对server-client都不大熟悉
，之前做数据库多些。
谢过先。 |
h*i
发帖数: 3446 | 6 你这个streaming东西，如果source就是kafka, 要做的事情也简单，用kafka client来
consume就完了，https://github.com/mumrah/kafka-python, python很简单，写个小
东西很方便。要是事情复杂，还要实时的，就上Storm啥的轮子。
我那个事情很简单，就是把wdong的kgraph python API包一包，可以在Web上query而已
，两个python文件，一百行而已。我提这个事情的目的，是说明python搞Web很容易。
我就随便google了一下，搜了搜python web server benchmark, 看见说是wheezy.web
最快，就用了，简单的用一个http get把query包装一下, 就完成了。从没学过python,
以前就用过一次, 改写别人的web scrapper，也是现google现学，一天就搞定了。
python很狗狗friendly的。
【在 k****r 的大作中提到】
: 我也是搞底层的。
: 我是想streaming的东东，remote到其他node上，最终是要写到database里面去的。
: 但是第一步是想先能传过去，写到disk上先。
: 我也觉得用http需要web接受，所以不明白，如果想先写到disk上去，用什么样的技术
: 比较好。
: 用python，不需要http连接就可以完成这样的工作吗？
: 好厉害，一个小时可以搞定，可不可以share一下你的思路，或是告诉我在那里可以找
: 到现成差不多可以用的，我对python不熟悉也，确切的说对server-client都不大熟悉
: ，之前做数据库多些。
: 谢过先。
|
k****r
发帖数: 807 | 7 谢谢你的详细回复。我也去放狗查查，关键是之前查了一阵子，没有找到特别符合我这
边需求的。。。
web
python,
【在 h*i 的大作中提到】
: 你这个streaming东西，如果source就是kafka, 要做的事情也简单，用kafka client来
: consume就完了，https://github.com/mumrah/kafka-python, python很简单，写个小
: 东西很方便。要是事情复杂，还要实时的，就上Storm啥的轮子。
: 我那个事情很简单，就是把wdong的kgraph python API包一包，可以在Web上query而已
: ，两个python文件，一百行而已。我提这个事情的目的，是说明python搞Web很容易。
: 我就随便google了一下，搜了搜python web server benchmark, 看见说是wheezy.web
: 最快，就用了，简单的用一个http get把query包装一下, 就完成了。从没学过python,
: 以前就用过一次, 改写别人的web scrapper，也是现google现学，一天就搞定了。
: python很狗狗friendly的。
|
z****e
发帖数: 54598 | 8 clustering
this requirement is not that easy
u need VERT.X
Hazelcast 4 clustering management
Reactive/RxJava 4 streaming
UDP/TCP listener
dont use HTTP, u need to understand the difference between HTTP1 & HTTP2
make sure u use HTTP2 which could provide persist connection
etc.
not that easy
and VERT.X probably is ur best bet |
k****r
发帖数: 807 | 9 How about node.js?
【在 z****e 的大作中提到】
: clustering
: this requirement is not that easy
: u need VERT.X
: Hazelcast 4 clustering management
: Reactive/RxJava 4 streaming
: UDP/TCP listener
: dont use HTTP, u need to understand the difference between HTTP1 & HTTP2
: make sure u use HTTP2 which could provide persist connection
: etc.
: not that easy
|
z****e
发帖数: 54598 | 10
u gonna need sth. like hazlecast to help u do some cache & mr jobs
it is cluster rather than a single node
【在 k****r 的大作中提到】
: How about node.js?
|
|
|
k****r
发帖数: 807 | 11 Thank you for the suggestion. will do more investigation based on your
advise.
【在 z****e 的大作中提到】
:
: u gonna need sth. like hazlecast to help u do some cache & mr jobs
: it is cluster rather than a single node
|
k****r
发帖数: 807 | 12 这个http post的数据post到哪里去的，比如从10.0.0.4post到ip: 10.0.0.3:3023一些
data，并且我在10.0.0.3上面有数据库，我想在10.0.0.3上面读被posted的数据into
some table.我到哪里找这个数据呢？是不是需要用python写个接受数据的script，这
样就可以用python的数据库api insert了。
谢谢牛牛们的建议。 |
h*i
发帖数: 3446 | 13 你需要在10.0.0.3机器上跑一个python http server（其实就是一个python script)，
让它listen to port 3023。
python web framework的选项多得不得了，你如果没有复杂需求，就找个比较简单的。
比如我前两天用的wheezy.web，据说最快，但好像用的人不多，可能有问题没人回答。
不过我也没啥问题，copy paste doc就搞定了。flask好像也是比较简单的那种
framework，用得人多些。其他的大的framework比如django这种可能要算overkill了。
你就用flask好了。
【在 k****r 的大作中提到】
: 这个http post的数据post到哪里去的，比如从10.0.0.4post到ip: 10.0.0.3:3023一些
: data，并且我在10.0.0.3上面有数据库，我想在10.0.0.3上面读被posted的数据into
: some table.我到哪里找这个数据呢？是不是需要用python写个接受数据的script，这
: 样就可以用python的数据库api insert了。
: 谢谢牛牛们的建议。
|
d*******r
发帖数: 3299 | 14 感觉你这个偏简单的 admin/DevPos，python fiber 就够了吧
【在 k****r 的大作中提到】
: 1. 如果想在cluster里面写一个简单的remote写文件的程序，用python+http是不是合
: 适，文件大小是几十M，可能是表的形式。
: 2. 如果是kafka substribe的数据，这样的streaming怎么再remote传给别的node呢，
: python+http是否合适。简单的http post可以做到吗？
: 谢谢。
|
k****r
发帖数: 807 | 15 非常感谢您的详细讲解。我基本上明白些了。.4上跑个client post data，.3跑个
listen的是吧。
我现在用httplib的 HTTPconnection("http://10.0.0.3:8030")似乎不work，
我想是不是应该是server打开listen才可以post成功呢。
【在 h*i 的大作中提到】
: 你需要在10.0.0.3机器上跑一个python http server（其实就是一个python script)，
: 让它listen to port 3023。
: python web framework的选项多得不得了，你如果没有复杂需求，就找个比较简单的。
: 比如我前两天用的wheezy.web，据说最快，但好像用的人不多，可能有问题没人回答。
: 不过我也没啥问题，copy paste doc就搞定了。flask好像也是比较简单的那种
: framework，用得人多些。其他的大的framework比如django这种可能要算overkill了。
: 你就用flask好了。
|
k****r
发帖数: 807 | 16 在玩你推荐的wheezy。。。
为啥只有把wheezy下载下来，且我的py script也在下载的wheezy文档下面运行才work,
否则找不到import的packages....
【在 h*i 的大作中提到】
: 你需要在10.0.0.3机器上跑一个python http server（其实就是一个python script)，
: 让它listen to port 3023。
: python web framework的选项多得不得了，你如果没有复杂需求，就找个比较简单的。
: 比如我前两天用的wheezy.web，据说最快，但好像用的人不多，可能有问题没人回答。
: 不过我也没啥问题，copy paste doc就搞定了。flask好像也是比较简单的那种
: framework，用得人多些。其他的大的framework比如django这种可能要算overkill了。
: 你就用flask好了。
|
l*********s
发帖数: 5409 | 17 rsh/rcp啥更简单些吧，系统自带了都。
RPC
RPC
【在 h*i 的大作中提到】
: 这个得看个人吧，你搞底层的东东搞习惯了，对很多人来说，搞web service要比搞RPC
: 容易太多了。python web工具一堆堆的，随便狗一下就可以搞定的东西，为啥要搞RPC
: 这种妖哦子。
|
h*i
发帖数: 3446 | 18 哦是么？我不会python的，只能捡我知道的说。不要听我的 ：0
【在 l*********s 的大作中提到】
: rsh/rcp啥更简单些吧，系统自带了都。
:
: RPC
: RPC
|
h*i
发帖数: 3446 | 19 python装东西不靠下载吧？wheezy的文档不是说让你用easy_install么？不用下载，
easy_install装入你的python系统里面。
work,
【在 k****r 的大作中提到】
: 在玩你推荐的wheezy。。。
: 为啥只有把wheezy下载下来，且我的py script也在下载的wheezy文档下面运行才work,
: 否则找不到import的packages....
|
l*********s
发帖数: 5409 | 20 不是python，是shell啦。
【在 h*i 的大作中提到】
: 哦是么？我不会python的，只能捡我知道的说。不要听我的 ：0
|
h*i
发帖数: 3446 | 21 哦，我以为你在说啥python里面的东东，那是，其实如果就是copy个文件，shell
script最容易。不过他想要个long running server吧。
【在 l*********s 的大作中提到】
: 不是python，是shell啦。
|
