由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 问个python读取大文件的问题
相关主题
请教个C++问题文本信息搜索
Python里边file writer的问题文件大小疑惑
C 语言,初学者问题(4),读取字符指针内容我也来一个, quick sort 只要一行。
生活质量提高了一大截求助 python 中 16进制的读取与处理
谁知道怎么把binary file 转成 文档呢?python pandas reading large csv file
急! Python 如何从文件读取数据(整数) ~~在线等python 的 timeit 问题
C++读文件从java读取python输出的pytables
请问如何可以像run SAS, R一样的run python? (转载)python大家用什么IDE?
相关话题的讨论汇总
话题: 一行话题: 文件话题: python话题: 读取话题: 读出来
进入Programming版参与讨论
1 (共1页)
m******n
发帖数: 453
1
text文件
一行一行的读进来
那么
for line in open('file_name'):
process(line)
这样对么,,
那个open()是不是一个pointer,lazy version,一行一行的读
还是就直接把这个file塞到内存再读取??
v*******e
发帖数: 11604
2
lazy,一行一行地读
a*z
发帖数: 294
3
搭车请教一个问题:
用python读几百K以上的文件。读出来的行数少。我用powershell和notepad++读出来的
行数一样,都比python读出来的多。
请问会是什么原因?多谢!
x***u
发帖数: 297
4
检查一下回车符? 。


: 搭车请教一个问题:

: 用python读几百K以上的文件。读出来的行数少。我用powershell和notepad 读
出来的

: 行数一样,都比python读出来的多。

: 请问会是什么原因?多谢!



【在 a*z 的大作中提到】
: 搭车请教一个问题:
: 用python读几百K以上的文件。读出来的行数少。我用powershell和notepad++读出来的
: 行数一样,都比python读出来的多。
: 请问会是什么原因?多谢!

L***s
发帖数: 1148
5
对于文本文件,读的是 buffered text stream,封装了两三层的。
简单地说,不会把整个文件放内存,读过的行没有引用了会被 gc 掉。
具体看文档 https://docs.python.org/3/library/functions.html#open

【在 m******n 的大作中提到】
: text文件
: 一行一行的读进来
: 那么
: for line in open('file_name'):
: process(line)
: 这样对么,,
: 那个open()是不是一个pointer,lazy version,一行一行的读
: 还是就直接把这个file塞到内存再读取??

L***s
发帖数: 1148
6

把文件和代码 share 一下

【在 a*z 的大作中提到】
: 搭车请教一个问题:
: 用python读几百K以上的文件。读出来的行数少。我用powershell和notepad++读出来的
: 行数一样,都比python读出来的多。
: 请问会是什么原因?多谢!

a*z
发帖数: 294
7
抱歉,工作中的东东。
原文件是queried result from db.中间不应该有blank lines. 还没有搞懂。
e*******o
发帖数: 4654
a*z
发帖数: 294
9
Thanks to all of you.
1 (共1页)
进入Programming版参与讨论
相关主题
python大家用什么IDE?谁知道怎么把binary file 转成 文档呢?
我们公司pyhon IDE情况急! Python 如何从文件读取数据(整数) ~~在线等
web page programming 问题C++读文件
How to call python_function(class param, char *buf) from c++请问如何可以像run SAS, R一样的run python? (转载)
请教个C++问题文本信息搜索
Python里边file writer的问题文件大小疑惑
C 语言,初学者问题(4),读取字符指针内容我也来一个, quick sort 只要一行。
生活质量提高了一大截求助 python 中 16进制的读取与处理
相关话题的讨论汇总
话题: 一行话题: 文件话题: python话题: 读取话题: 读出来