i***r 1
我有个20 million row * 100 column的文件 X****r 2
干吗加字符串，一边读一边打出来不就完了，一百列就重复一百遍。: 我有个20 million row * 100 column的文件 v*******e 3
估计你这个是genome data吧，用 plink 转，很快的。 i***r 4
是genome data: 估计你这个是genome data吧，用 plink 转，很快的。 i***r 5
我已开始也想一边读一边打。: 干吗加字符串，一边读一边打出来不就完了，一百列就重复一百遍。 X****r 6
python的string是immutable的，所以在字符串后面不断加长就会不断分配新的字符串: 我已开始也想一边读一边打。 v*******e 7
: 是genome data i***r 8
确实，已有的工具可靠，速度快。。。: i***r 9
有道理，我有空了benchmark一下，看差别多大: python的string是immutable的，所以在字符串后面不断加长就会不断分配新的字符串 p**o 10
贴代码，我帮你看看: 我有个20 million row * 100 column的文件
k**********g i***r 12
代码：" % sys.argv[0], file=sys.stderr): 贴代码，我帮你看看 c*********e 13
把数据先存到内存里，再在内存里做些数学操作。内存多大？: 我有个20 million row * 100 column的文件 i***r 14
input 文件的某1行，共22million: 贴代码，我帮你看看 i***r 15
内存有250G: 把数据先存到内存里，再在内存里做些数学操作。内存多大？ c*********e 16
那就在内存里做数学操作。: 内存有250G w***g 17
20 million row * 100 column, 即使存成text的话也就10G吧, 这种操作bottleneck在: 我有个20 million row * 100 column的文件 w****w 18
你这个文件扫了快90次，当然慢了。根据内存多少要多列一起转置，而不是一列。你有 n******t 19
这个帖子深刻的说明了，学语言如果只学这种所谓高级语言，是没法写任何能用的大型: 你这个文件扫了快90次，当然慢了。根据内存多少要多列一起转置，而不是一列。你有 e**********y 20
read into a numpy array using method --http://docs.scipy.org/doc/numpy/reference/generated/numpy.fromfile.html
r****t 21
reads like c code. why not directlly write in c.: 代码： c*******y 22
小猴子危言耸听了，哈哈。: 这个帖子深刻的说明了，学语言如果只学这种所谓高级语言，是没法写任何能用的大型 x****u 23
mmap: 把数据先存到内存里，再在内存里做些数学操作。内存多大？
