python pandas reading large csv file - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - python pandas reading large csv file

相关主题
● 问个python读取大文件的问题	● 从心底讨厌scala
● 怎样用Python选一部分数据出来	● 从java读取python输出的pytables
● 快要被Python的兼容性弄疯了	● python pandas DataFrame的index为什么是日期而不是integer in
● 求python大牛指路	● python这中垃圾语言流行还是因为半路出家的人太多
● Re: 有谁觉得做bioinformatics 的数据分析 python比R好的？ (转载)	● python在2009年差点死掉，后来为什么起死回生了？
● python要搞type hint了	● 无比悲惨的一天
● Anaconda装起来会跟已有的python dist有什么冲突吗？	● anaconda是python的超级集合？
● 易写性，易维护和执行效率综合来看	● 数据库小白请教：如果数据库文件很大，MySQL和Python Pandas分

相关话题的讨论汇总
话题: pandas话题: csv话题: reading话题: file话题: python

进入Programming版参与讨论

1

(共1页)

c*******y 发帖数: 1630	1 like 5G, 100M rows. how to read such file in pandas, read_csv is too slow. does not look like lazy reading. Thanks
w*x 发帖数: 518	2 我也很好奇…… 话说pd.read_csv已经算快的了，用np.loadtxt会更可怕…… 要是结构比较consistent可以用C自己写一个？
w*x 发帖数: 518	3 对了，OP不知道试过np.memmap没？ http://docs.scipy.org/doc/numpy/reference/generated/numpy.memma
c*******y 发帖数: 1630	4 没试过，这个就算可以，估计跟pandas怎么结合用，还要琢磨一阵子。【在 w*x 的大作中提到】 : 对了，OP不知道试过np.memmap没？ : http://docs.scipy.org/doc/numpy/reference/generated/numpy.memma

1

(共1页)

进入Programming版参与讨论

相关主题
● 数据库小白请教：如果数据库文件很大，MySQL和Python Pandas分	● Re: 有谁觉得做bioinformatics 的数据分析 python比R好的？ (转载)
● Python pandas 是坑不？	● python要搞type hint了
● 用python分析big data，用哪个library好？	● Anaconda装起来会跟已有的python dist有什么冲突吗？
● Pandas问题不少啊...	● 易写性，易维护和执行效率综合来看
● 问个python读取大文件的问题	● 从心底讨厌scala
● 怎样用Python选一部分数据出来	● 从java读取python输出的pytables
● 快要被Python的兼容性弄疯了	● python pandas DataFrame的index为什么是日期而不是integer in
● 求python大牛指路	● python这中垃圾语言流行还是因为半路出家的人太多

相关话题的讨论汇总
话题: pandas话题: csv话题: reading话题: file话题: python

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)