e********r
发帖数: 2352 | 1 一般的Scientific computing的网站，前台HTML+CSS+Javascript，使用者可以上传数
据，服务器端用PHP接受数据，调用Python Code来分析数据，然后把结果返回到客户端。
Q1: 现在的方式是用PHP把接受的数据存到一个文件，然后用exec函数调用Python code
来分析结果，生成一个网页，然后客户端用Javascript在一个新的窗口打开这个网页链
接。请问能否给一个更简洁的架构，如果不考虑使用CGI的话。
Q2: 假设有很多用户同时使用这个网站，或者一个用户打算上传多个数据，这时候需要
调用很多次Python code，如果打算使用Queue去处理多任务，等计算结束后发送E-mail
，通知用户计算结果和相应的网页链接，请问一般需要怎么处理，需要哪些工具。这个
应该在大的商业网站是很常见的问题，现在有一个基本的Idea，就是用qsub把任务交给
服务器，结束后qsub系统可以给用户发送包含链接的E-mail，请问一般商业网站都是怎
么处理这个问题的。
万分感谢！ |
w***g
发帖数: 5958 | 2 既然计算是python的，上django更方便吧。
这是我用django建的，除了上传数据不对用户开放，别的跟你要做的差不多。
a2genomics.com
我其实也是exec调用，而不是用api。对于科学计算exec要flexible得多。
qsub没有问题。更新状态应该放到qsub脚本里面。
我是用数据库自己建了个job queue，这样任务状态啥的跟django整合得更好。
而且可以定义pipeline，某一步exec成功了自动开始做下一步。
端。
code
mail
【在 e********r 的大作中提到】
: 一般的Scientific computing的网站，前台HTML+CSS+Javascript，使用者可以上传数
: 据，服务器端用PHP接受数据，调用Python Code来分析数据，然后把结果返回到客户端。
: Q1: 现在的方式是用PHP把接受的数据存到一个文件，然后用exec函数调用Python code
: 来分析结果，生成一个网页，然后客户端用Javascript在一个新的窗口打开这个网页链
: 接。请问能否给一个更简洁的架构，如果不考虑使用CGI的话。
: Q2: 假设有很多用户同时使用这个网站，或者一个用户打算上传多个数据，这时候需要
: 调用很多次Python code，如果打算使用Queue去处理多任务，等计算结束后发送E-mail
: ，通知用户计算结果和相应的网页链接，请问一般需要怎么处理，需要哪些工具。这个
: 应该在大的商业网站是很常见的问题，现在有一个基本的Idea，就是用qsub把任务交给
: 服务器，结束后qsub系统可以给用户发送包含链接的E-mail，请问一般商业网站都是怎
|
d****n
发帖数: 1637 | 3 单独建立一个micro service 处理qsub
用rabbit mq收集用户数据，队列到上面那个micro service
返回结果或者错误存如前端数据库，php，javascript 或者python都轻松搞定
不过建议用一种语言 |
w********m
发帖数: 1137 | 4 eval不安全吧？
还是用REST API
第二个celery是标配了 |
a9
发帖数: 21638 | 5 q1.已经相当简洁了，没啥必要改
q2，可以上传后存个文本文件，然后python在后台跑，检测到文件后就处理，处理完了
把刚才的文本文件改名。同时发邮件短信等
这么简单的东西不用在上面费很大的功夫搞的多fancy。
端。
code
mail
【在 e********r 的大作中提到】
: 一般的Scientific computing的网站，前台HTML+CSS+Javascript，使用者可以上传数
: 据，服务器端用PHP接受数据，调用Python Code来分析数据，然后把结果返回到客户端。
: Q1: 现在的方式是用PHP把接受的数据存到一个文件，然后用exec函数调用Python code
: 来分析结果，生成一个网页，然后客户端用Javascript在一个新的窗口打开这个网页链
: 接。请问能否给一个更简洁的架构，如果不考虑使用CGI的话。
: Q2: 假设有很多用户同时使用这个网站，或者一个用户打算上传多个数据，这时候需要
: 调用很多次Python code，如果打算使用Queue去处理多任务，等计算结束后发送E-mail
: ，通知用户计算结果和相应的网页链接，请问一般需要怎么处理，需要哪些工具。这个
: 应该在大的商业网站是很常见的问题，现在有一个基本的Idea，就是用qsub把任务交给
: 服务器，结束后qsub系统可以给用户发送包含链接的E-mail，请问一般商业网站都是怎
|
t*s
发帖数: 1504 | 6 q1 flask or django
端。
code
mail
【在 e********r 的大作中提到】
: 一般的Scientific computing的网站，前台HTML+CSS+Javascript，使用者可以上传数
: 据，服务器端用PHP接受数据，调用Python Code来分析数据，然后把结果返回到客户端。
: Q1: 现在的方式是用PHP把接受的数据存到一个文件，然后用exec函数调用Python code
: 来分析结果，生成一个网页，然后客户端用Javascript在一个新的窗口打开这个网页链
: 接。请问能否给一个更简洁的架构，如果不考虑使用CGI的话。
: Q2: 假设有很多用户同时使用这个网站，或者一个用户打算上传多个数据，这时候需要
: 调用很多次Python code，如果打算使用Queue去处理多任务，等计算结束后发送E-mail
: ，通知用户计算结果和相应的网页链接，请问一般需要怎么处理，需要哪些工具。这个
: 应该在大的商业网站是很常见的问题，现在有一个基本的Idea，就是用qsub把任务交给
: 服务器，结束后qsub系统可以给用户发送包含链接的E-mail，请问一般商业网站都是怎
|
w***g
发帖数: 5958 | 7 从学校出来的估计只知道qsub。看来我也得转celery了。
【在 w********m 的大作中提到】
: eval不安全吧？
: 还是用REST API
: 第二个celery是标配了
|
k***5
发帖数: 583 | 8 弄个 NodeJS + Express为服务器，手工写个queue 处理。两天糙快猛的工作量。
Excel是个噩梦，不如直接用Python写个实现，或NodeJS。 |
n*********u
发帖数: 1030 | 9 Q1: seems fine, data processing and webservice use different language is
totally fine. Depends on what you like to do.
i.e. you are familiar with php webservice, and you need python to do those
calculation, then do it.
Sometimes, using same language can allow you to share code in both processes
. (i.e. database related models, but your project probably don't need it)
Your choice here.
Q2: checkout rabbitmq, basically a message queue webservice. CURL a request
in, it will queue it and run the (consumer) process when it's ready. |
w********m
发帖数: 1137 | 10 像你这样的大牛，做生物方向的有点屈才。
生物什么都好，就是离钱有点远。
图像识别可是大热门，12306上的识别码都涨到3分钱一次了。
以后有机会像你请教。
【在 w***g 的大作中提到】
: 从学校出来的估计只知道qsub。看来我也得转celery了。
|
w***g
发帖数: 5958 | 11 当时拉到几个出钱的用户，于是就做了。我发现我技术落后非常快，
都快跟不上了。
【在 w********m 的大作中提到】
: 像你这样的大牛，做生物方向的有点屈才。
: 生物什么都好，就是离钱有点远。
: 图像识别可是大热门，12306上的识别码都涨到3分钱一次了。
: 以后有机会像你请教。
|
c*********e
发帖数: 16335 | 12 python的async做得不错，php就没啥优势。
【在 w***g 的大作中提到】
: 从学校出来的估计只知道qsub。看来我也得转celery了。
|
d****i
发帖数: 4809 | 13 都有吧，底层都是C的支持。
【在 c*********e 的大作中提到】
: python的async做得不错，php就没啥优势。
|
