由买买提看人间百态
登录
首页
论坛
未名存档
话题女王
小圈子
马甲追踪
版面排名
流量曲线
水枪排名
发帖量曲线
发帖版面饼图
发帖时间柱图
关于本站
帮助
boards
本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字
访问原贴
Programming版
- python pandas reading large csv file
相关主题
●
问个python读取大文件的问题
●
从心底讨厌scala
●
怎样用Python选一部分数据出来
●
从java读取python输出的pytables
●
快要被Python的兼容性弄疯了
●
python pandas DataFrame的index为什么是日期而不是integer in
●
求python大牛指路
●
python这中垃圾语言流行还是因为半路出家的人太多
●
Re: 有谁觉得做bioinformatics 的数据分析 python比R好的? (转载)
●
python在2009年差点死掉,后来为什么起死回生了?
●
python要搞type hint了
●
无比悲惨的一天
●
Anaconda装起来会跟已有的python dist有什么冲突吗?
●
anaconda是python的超级集合?
●
易写性,易维护和执行效率综合来看
●
数据库小白请教:如果数据库文件很大,MySQL和Python Pandas分
相关话题的讨论汇总
话题: pandas
话题: csv
话题: reading
话题: file
话题: python
进入Programming版参与讨论
1
(共1页)
c*******y
发帖数: 1630
1
like 5G, 100M rows.
how to read such file in pandas, read_csv is too slow.
does not look like lazy reading.
Thanks
w*x
发帖数: 518
2
我也很好奇……
话说pd.read_csv已经算快的了,用np.loadtxt会更可怕……
要是结构比较consistent可以用C自己写一个?
w*x
发帖数: 518
3
对了,OP不知道试过np.memmap没?
http://docs.scipy.org/doc/numpy/reference/generated/numpy.memma
c*******y
发帖数: 1630
4
没试过,这个就算可以,估计跟pandas怎么结合用,还要琢磨一阵子。
【在 w*x 的大作中提到】
: 对了,OP不知道试过np.memmap没?
:
http://docs.scipy.org/doc/numpy/reference/generated/numpy.memma
1
(共1页)
进入Programming版参与讨论
相关主题
●
数据库小白请教:如果数据库文件很大,MySQL和Python Pandas分
●
Re: 有谁觉得做bioinformatics 的数据分析 python比R好的? (转载)
●
Python pandas 是坑不?
●
python要搞type hint了
●
用python分析big data,用哪个library好?
●
Anaconda装起来会跟已有的python dist有什么冲突吗?
●
Pandas问题不少啊...
●
易写性,易维护和执行效率综合来看
●
问个python读取大文件的问题
●
从心底讨厌scala
●
怎样用Python选一部分数据出来
●
从java读取python输出的pytables
●
快要被Python的兼容性弄疯了
●
python pandas DataFrame的index为什么是日期而不是integer in
●
求python大牛指路
●
python这中垃圾语言流行还是因为半路出家的人太多
相关话题的讨论汇总
话题: pandas
话题: csv
话题: reading
话题: file
话题: python
未名新帖统计
// 7月16日
#
版面
帖数(主题数)
-
全站
4871 (796)
1
Military
3777 (569)
2
Stock
341 (51)
3
Joke
117 (17)
4
History
116 (3)
5
Automobile
100 (9)
6
USANews
55 (9)
7
Midlife
45 (1)
8
Headline
41 (41)
9
Dreamer
33 (13)
10
FleaMarket
32 (20)
11
Living
30 (7)
* 这里只显示发帖超过25的版面,努力灌水吧:-)
历史上的今天
faintcat妹妹看进来~~
发表于12年前.
NSC, PD 1/7/2007, EB2, ...
发表于11年前.
[FBA求购]MJVE2 758 MJVM2 ...
发表于6年前.
老生常谈,归与不归
发表于10年前.
【申请】Seattle西雅图 版版主——申请人...
发表于9年前.
宝宝出生,头骨骨折,求祝福
发表于9年前.
求推荐舒缓优美的古典音乐
发表于11年前.
百分之一的北京人上北大 中国网友愤怒(转载)
发表于10年前.
新人带狗狗Bailey来报道
发表于12年前.
全世界最有价值的运动队
发表于10年前.
请问大切诺基的质量如何
发表于6年前.
TNND,军版全是BKC
发表于15年前.
Inception
发表于12年前.
微软的有些家属可真恶心,为了卖保险脸都不要了
发表于10年前.
每周坐高铁的苦逼来说说感受吧!!
发表于9年前.