w***g 发帖数: 5958 | 1 最终还是没有真正的multi-thread支持。
我希望在C++中支持python callback,然后用multithread并行跑
这个callback的想法毕竟还是不行。
python3最终也还是一些cosmetic improvement,真正的痛点还是
一点改进都没有。
如果不是ecosystem这么强大,我肯定不会用的。
Lua就没有问题。 |
b****u 发帖数: 1130 | 2 其实我也很纠结。这个多线程的确是一个大问题。
在考虑是不是要对python投入大量感情。
【在 w***g 的大作中提到】 : 最终还是没有真正的multi-thread支持。 : 我希望在C++中支持python callback,然后用multithread并行跑 : 这个callback的想法毕竟还是不行。 : python3最终也还是一些cosmetic improvement,真正的痛点还是 : 一点改进都没有。 : 如果不是ecosystem这么强大,我肯定不会用的。 : Lua就没有问题。
|
g****t 发帖数: 31659 | 3 对做数据科学或者算法的人来说,现在我的浅见:
1.pyhton必学。
2.处理好python和其他语言的工作划分和界面是重点。
Lua生态系统和速度都不在极端。感觉有点落伍了。 |
g****t 发帖数: 31659 | 4 只学胶水那部分,以及很好用的自带数据结构就行了吧?别的东西可能在未来实用价值
不高。
: 其实我也很纠结。这个多线程的确是一个大问题。
: 在考虑是不是要对python投入大量感情。
【在 b****u 的大作中提到】 : 其实我也很纠结。这个多线程的确是一个大问题。 : 在考虑是不是要对python投入大量感情。
|
d******c 发帖数: 2407 | 5 python 跟cPython结合太紧,这个局限是摆脱不了了。
python特别注重灵活,但是实现上又是各种hacking的方式,长远发展上是不利的
2到3搞这么痛苦,还没有解决多少真正重要的问题
没有完美的语言,只能根据问题挑选问题最少最能忍受的语言
想学一个,然后不用学新的是不可能的
【在 w***g 的大作中提到】 : 最终还是没有真正的multi-thread支持。 : 我希望在C++中支持python callback,然后用multithread并行跑 : 这个callback的想法毕竟还是不行。 : python3最终也还是一些cosmetic improvement,真正的痛点还是 : 一点改进都没有。 : 如果不是ecosystem这么强大,我肯定不会用的。 : Lua就没有问题。
|
x****u 发帖数: 44466 | 6 要是多线程支持完备,那插件就不好写了,ecosystem说不定就完蛋了
【在 w***g 的大作中提到】 : 最终还是没有真正的multi-thread支持。 : 我希望在C++中支持python callback,然后用multithread并行跑 : 这个callback的想法毕竟还是不行。 : python3最终也还是一些cosmetic improvement,真正的痛点还是 : 一点改进都没有。 : 如果不是ecosystem这么强大,我肯定不会用的。 : Lua就没有问题。
|
b*******s 发帖数: 5216 | 7 计算方面有用mtk实现numpy等并行的
【在 w***g 的大作中提到】 : 最终还是没有真正的multi-thread支持。 : 我希望在C++中支持python callback,然后用multithread并行跑 : 这个callback的想法毕竟还是不行。 : python3最终也还是一些cosmetic improvement,真正的痛点还是 : 一点改进都没有。 : 如果不是ecosystem这么强大,我肯定不会用的。 : Lua就没有问题。
|
g****t 发帖数: 31659 | 8 未来很难保证吧
【在 b*******s 的大作中提到】 : 计算方面有用mtk实现numpy等并行的
|
b*******s 发帖数: 5216 | 9 需求还是很旺盛的,会有人做的
【在 g****t 的大作中提到】 : 未来很难保证吧
|
y*j 发帖数: 3139 | 10 我倒认为PYTHON的缺乏真正的多线程是它的一个优点,也许不是刻意追求,而是歪打正
着的。因为这样PYTHON和插件的接口就特别方便,看看java的接口有多么痛苦你就能理
解了。
我个人对多线程这种并发模式不是十分欣赏,有点像C语言,太低层了以至于不是很好
用。 |
|
|
g****t 发帖数: 31659 | 11 摩尔定律失效。最后你总要有效的用多核。So or later ...
【在 y*j 的大作中提到】 : 我倒认为PYTHON的缺乏真正的多线程是它的一个优点,也许不是刻意追求,而是歪打正 : 着的。因为这样PYTHON和插件的接口就特别方便,看看java的接口有多么痛苦你就能理 : 解了。 : 我个人对多线程这种并发模式不是十分欣赏,有点像C语言,太低层了以至于不是很好 : 用。
|
g****t 发帖数: 31659 | 12 python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。
【在 b*******s 的大作中提到】 : 需求还是很旺盛的,会有人做的
|
y*j 发帖数: 3139 | 13 Mtk ~ Matlab ?
: 计算方面有用mtk实现numpy等并行的
【在 b*******s 的大作中提到】 : 需求还是很旺盛的,会有人做的
|
y*j 发帖数: 3139 | 14 颗粒大一点的可以用多进程,颗粒小的就得用插件,反正纯PYTHON运行多线程cpu
bound 的任务也好不倒哪里去,像PYTHON这样的解释型语言搞多线程不是很合适,这种
情况下为什么不让贤呢,让更合适的语言来处理。
: 摩尔定律失效。最后你总要有效的用多核。So or later ...
【在 g****t 的大作中提到】 : python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。
|
y*j 发帖数: 3139 | 15 完全同意,有得就有失。试图面面俱到也许会搞成四不像。
: 要是多线程支持完备,那插件就不好写了,ecosystem说不定就完蛋了
【在 x****u 的大作中提到】 : 要是多线程支持完备,那插件就不好写了,ecosystem说不定就完蛋了
|
x****u 发帖数: 44466 | 16 多核不一定要在语言层啊
numpy和tensorflow都能有效支持多核
【在 g****t 的大作中提到】 : 摩尔定律失效。最后你总要有效的用多核。So or later ...
|
f*******t 发帖数: 7549 | |
b*******s 发帖数: 5216 | 18 计算性不关心延迟的也许可以
【在 f*******t 的大作中提到】 : async不能替代多线程吗?
|
d***a 发帖数: 13752 | 19 我同意这个观点。Python搞并行反正是不行,不如用C/Fortran和pthread/MPI/PVM来搞
。Python的一些模块,内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
【在 y*j 的大作中提到】 : 颗粒大一点的可以用多进程,颗粒小的就得用插件,反正纯PYTHON运行多线程cpu : bound 的任务也好不倒哪里去,像PYTHON这样的解释型语言搞多线程不是很合适,这种 : 情况下为什么不让贤呢,让更合适的语言来处理。 : : : 摩尔定律失效。最后你总要有效的用多核。So or later ... :
|
m**u 发帖数: 541 | 20 俺啥也不懂哈,要不给matlab 反映一下,他们弄个包,就都结了?。。。
然后大家都各回各家。。。。 |
|
|
f*******t 发帖数: 7549 | 21 Python就是一个动态类型的胶水语言,本来就不应该负担沉重的计算任务
【在 b*******s 的大作中提到】 : 计算性不关心延迟的也许可以
|
w***g 发帖数: 5958 | 22 就是只能python call c, 反过来限制很大。
我有个torch model, 在c++服务器里用,可以起多线程,每个线程一个lua虚拟机。
python就不行,只能全局一个。多线程task并行,每个task单线程比单task跑多线程要
快好几倍。
:我同意这个观点。Python搞并行反正是不行,不如用C/Fortran和pthread/MPI/PVM来
搞。Python的一些模块,内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
: |
y*j 发帖数: 3139 | 23 你这个土法上马,scalibility 是个问题吧?有现成的轮子为什么不用,比如node.js
or twisted python。
具体到TF, 它也有自带的web deployment 。
: 就是只能python call c, 反过来限制很大。
: 我有个torch model, 在c 服务器里用,可以起多线程,每个线程一个
lua虚拟
机。
: python就不行,只能全局一个。多线程task并行,每个task单线程比单
task跑多
线程要
: 快好几倍。
: :我同意这个观点。Python搞并行反正是不行,不如用C/Fortran和
pthread/MPI
/PVM来
: 搞。Python的一些模块,内部可以用并行来实现。Numpy内部应该是可以
用上多
核并行。
: :
【在 w***g 的大作中提到】 : 就是只能python call c, 反过来限制很大。 : 我有个torch model, 在c++服务器里用,可以起多线程,每个线程一个lua虚拟机。 : python就不行,只能全局一个。多线程task并行,每个task单线程比单task跑多线程要 : 快好几倍。 : : :我同意这个观点。Python搞并行反正是不行,不如用C/Fortran和pthread/MPI/PVM来 : 搞。Python的一些模块,内部可以用并行来实现。Numpy内部应该是可以用上多核并行。 : :
|
w***g 发帖数: 5958 | 24 我也是现成的轮子啊,人家用torch训练好的model我直接集成到C++服务器里面用。
现在自然是TF了。我这个服务跑了有一年多了。
C++做算法的restful服务器很好。
js
【在 y*j 的大作中提到】 : 你这个土法上马,scalibility 是个问题吧?有现成的轮子为什么不用,比如node.js : or twisted python。 : 具体到TF, 它也有自带的web deployment 。 : : : 就是只能python call c, 反过来限制很大。 : : 我有个torch model, 在c 服务器里用,可以起多线程,每个线程一个 : lua虚拟 : 机。 : : python就不行,只能全局一个。多线程task并行,每个task单线程比单 : task跑多
|
a*****e 发帖数: 1700 | 25 如果你是要做并行计算,可以试试 Numba 最新的版本,@njit(parallel=True) 就好了。
【在 w***g 的大作中提到】 : 最终还是没有真正的multi-thread支持。 : 我希望在C++中支持python callback,然后用multithread并行跑 : 这个callback的想法毕竟还是不行。 : python3最终也还是一些cosmetic improvement,真正的痛点还是 : 一点改进都没有。 : 如果不是ecosystem这么强大,我肯定不会用的。 : Lua就没有问题。
|
d********n 发帖数: 1 | 26 说说我做的,不知道算不算多线程(multithreading).
tensorflow 模型,三个线程:一个主线程,一个线程为training queue送数据,一个
线程为test queue送数据。计算在gpu上做。 |
x****u 发帖数: 44466 | 27 tf不是有专门的喂数据api么?
【在 d********n 的大作中提到】 : 说说我做的,不知道算不算多线程(multithreading). : tensorflow 模型,三个线程:一个主线程,一个线程为training queue送数据,一个 : 线程为test queue送数据。计算在gpu上做。
|