w***g
发帖数: 5958 | 1 最终还是没有真正的multi-thread支持。
我希望在C++中支持python callback，然后用multithread并行跑
这个callback的想法毕竟还是不行。
python3最终也还是一些cosmetic improvement，真正的痛点还是
一点改进都没有。
如果不是ecosystem这么强大，我肯定不会用的。
Lua就没有问题。 |
b****u
发帖数: 1130 | 2 其实我也很纠结。这个多线程的确是一个大问题。
在考虑是不是要对python投入大量感情。
【在 w***g 的大作中提到】
: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。
|
g****t
发帖数: 31659 | 3 对做数据科学或者算法的人来说，现在我的浅见：
1.pyhton必学。
2.处理好python和其他语言的工作划分和界面是重点。
Lua生态系统和速度都不在极端。感觉有点落伍了。 |
g****t
发帖数: 31659 | 4 只学胶水那部分，以及很好用的自带数据结构就行了吧？别的东西可能在未来实用价值
不高。
: 其实我也很纠结。这个多线程的确是一个大问题。
: 在考虑是不是要对python投入大量感情。
【在 b****u 的大作中提到】
: 其实我也很纠结。这个多线程的确是一个大问题。
: 在考虑是不是要对python投入大量感情。
|
d******c
发帖数: 2407 | 5 python 跟cPython结合太紧，这个局限是摆脱不了了。
python特别注重灵活，但是实现上又是各种hacking的方式，长远发展上是不利的
2到3搞这么痛苦，还没有解决多少真正重要的问题
没有完美的语言，只能根据问题挑选问题最少最能忍受的语言
想学一个，然后不用学新的是不可能的
【在 w***g 的大作中提到】
: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。
|
x****u
发帖数: 44466 | 6 要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了
【在 w***g 的大作中提到】
: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。
|
b*******s
发帖数: 5216 | 7 计算方面有用mtk实现numpy等并行的
【在 w***g 的大作中提到】
: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。
|
g****t
发帖数: 31659 | 8 未来很难保证吧
【在 b*******s 的大作中提到】
: 计算方面有用mtk实现numpy等并行的
|
b*******s
发帖数: 5216 | 9 需求还是很旺盛的，会有人做的
【在 g****t 的大作中提到】
: 未来很难保证吧
|
y*j
发帖数: 3139 | 10 我倒认为PYTHON的缺乏真正的多线程是它的一个优点，也许不是刻意追求，而是歪打正
着的。因为这样PYTHON和插件的接口就特别方便，看看java的接口有多么痛苦你就能理
解了。
我个人对多线程这种并发模式不是十分欣赏，有点像C语言，太低层了以至于不是很好
用。 |
|
|
g****t
发帖数: 31659 | 11 摩尔定律失效。最后你总要有效的用多核。So or later ...
【在 y*j 的大作中提到】
: 我倒认为PYTHON的缺乏真正的多线程是它的一个优点，也许不是刻意追求，而是歪打正
: 着的。因为这样PYTHON和插件的接口就特别方便，看看java的接口有多么痛苦你就能理
: 解了。
: 我个人对多线程这种并发模式不是十分欣赏，有点像C语言，太低层了以至于不是很好
: 用。
|
g****t
发帖数: 31659 | 12 python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。
【在 b*******s 的大作中提到】
: 需求还是很旺盛的，会有人做的
|
y*j
发帖数: 3139 | 13 Mtk ~ Matlab ?
: 计算方面有用mtk实现numpy等并行的
【在 b*******s 的大作中提到】
: 需求还是很旺盛的，会有人做的
|
y*j
发帖数: 3139 | 14 颗粒大一点的可以用多进程，颗粒小的就得用插件，反正纯PYTHON运行多线程cpu
bound 的任务也好不倒哪里去，像PYTHON这样的解释型语言搞多线程不是很合适，这种
情况下为什么不让贤呢，让更合适的语言来处理。
: 摩尔定律失效。最后你总要有效的用多核。So or later ...
【在 g****t 的大作中提到】
: python 包太复杂很难搞。历史上这类东西应该已经搞过一轮了。
|
y*j
发帖数: 3139 | 15 完全同意，有得就有失。试图面面俱到也许会搞成四不像。
: 要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了
【在 x****u 的大作中提到】
: 要是多线程支持完备，那插件就不好写了，ecosystem说不定就完蛋了
|
x****u
发帖数: 44466 | 16 多核不一定要在语言层啊
numpy和tensorflow都能有效支持多核
【在 g****t 的大作中提到】
: 摩尔定律失效。最后你总要有效的用多核。So or later ...
|
f*******t
发帖数: 7549 | |
b*******s
发帖数: 5216 | 18 计算性不关心延迟的也许可以
【在 f*******t 的大作中提到】
: async不能替代多线程吗？
|
d***a
发帖数: 13752 | 19 我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来搞
。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
【在 y*j 的大作中提到】
: 颗粒大一点的可以用多进程，颗粒小的就得用插件，反正纯PYTHON运行多线程cpu
: bound 的任务也好不倒哪里去，像PYTHON这样的解释型语言搞多线程不是很合适，这种
: 情况下为什么不让贤呢，让更合适的语言来处理。
:
:
: 摩尔定律失效。最后你总要有效的用多核。So or later ...
:
|
m**u
发帖数: 541 | 20 俺啥也不懂哈，要不给matlab 反映一下，他们弄个包，就都结了？。。。
然后大家都各回各家。。。。 |
|
|
f*******t
发帖数: 7549 | 21 Python就是一个动态类型的胶水语言，本来就不应该负担沉重的计算任务
【在 b*******s 的大作中提到】
: 计算性不关心延迟的也许可以
|
w***g
发帖数: 5958 | 22 就是只能python call c, 反过来限制很大。
我有个torch model, 在c++服务器里用，可以起多线程，每个线程一个lua虚拟机。
python就不行，只能全局一个。多线程task并行，每个task单线程比单task跑多线程要
快好几倍。
：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来
搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
： |
y*j
发帖数: 3139 | 23 你这个土法上马，scalibility 是个问题吧？有现成的轮子为什么不用，比如node.js
or twisted python。
具体到TF, 它也有自带的web deployment 。
: 就是只能python call c, 反过来限制很大。
: 我有个torch model, 在c 服务器里用，可以起多线程，每个线程一个
lua虚拟
机。
: python就不行，只能全局一个。多线程task并行，每个task单线程比单
task跑多
线程要
: 快好几倍。
: ：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和
pthread/MPI
/PVM来
: 搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以
用上多
核并行。
: ：
【在 w***g 的大作中提到】
: 就是只能python call c, 反过来限制很大。
: 我有个torch model, 在c++服务器里用，可以起多线程，每个线程一个lua虚拟机。
: python就不行，只能全局一个。多线程task并行，每个task单线程比单task跑多线程要
: 快好几倍。
:
: ：我同意这个观点。Python搞并行反正是不行，不如用C/Fortran和pthread/MPI/PVM来
: 搞。Python的一些模块，内部可以用并行来实现。Numpy内部应该是可以用上多核并行。
: ：
|
w***g
发帖数: 5958 | 24 我也是现成的轮子啊，人家用torch训练好的model我直接集成到C++服务器里面用。
现在自然是TF了。我这个服务跑了有一年多了。
C++做算法的restful服务器很好。
js
【在 y*j 的大作中提到】
: 你这个土法上马，scalibility 是个问题吧？有现成的轮子为什么不用，比如node.js
: or twisted python。
: 具体到TF, 它也有自带的web deployment 。
:
:
: 就是只能python call c, 反过来限制很大。
:
: 我有个torch model, 在c 服务器里用，可以起多线程，每个线程一个
: lua虚拟
: 机。
:
: python就不行，只能全局一个。多线程task并行，每个task单线程比单
: task跑多
|
a*****e
发帖数: 1700 | 25 如果你是要做并行计算，可以试试 Numba 最新的版本，@njit(parallel=True) 就好了。
【在 w***g 的大作中提到】
: 最终还是没有真正的multi-thread支持。
: 我希望在C++中支持python callback，然后用multithread并行跑
: 这个callback的想法毕竟还是不行。
: python3最终也还是一些cosmetic improvement，真正的痛点还是
: 一点改进都没有。
: 如果不是ecosystem这么强大，我肯定不会用的。
: Lua就没有问题。
|
d********n
发帖数: 1 | 26 说说我做的，不知道算不算多线程（multithreading）.
tensorflow 模型，三个线程：一个主线程，一个线程为training queue送数据，一个
线程为test queue送数据。计算在gpu上做。 |
x****u
发帖数: 44466 | 27 tf不是有专门的喂数据api么？
【在 d********n 的大作中提到】
: 说说我做的，不知道算不算多线程（multithreading）.
: tensorflow 模型，三个线程：一个主线程，一个线程为training queue送数据，一个
: 线程为test queue送数据。计算在gpu上做。
|
