由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 搞大文件的王道是mmap
相关主题
请教关于C++内存管理Help! Read random number of lines in a input file.
请问用mmap分配的共享内存如何回收?如何快速保存大块数据(工作中遇到的问题)
新手请问用mmap() copy filelinux下面的程序间通信怎么样最快?
求教:c++中如何从raw data中创建对象?为啥用mmap访问文件的效率高呢?
"brk()" 和 mmap() 有什么区别? (转载)问题:如何打开搜索二进制文件 (转载)
奇怪的问题:关于一个简单的malloc()小程序 (转载)请问关于 share memory 的问题
怎样读一个不断更新的文件问一个跟 memory (process address space) 的有关的问题 (转载)
虚心求教,我这样的应该怎么找编程的工作?程序占用很大内存
相关话题的讨论汇总
话题: mmap话题: 文件话题: 王道话题: os话题: 硬盘
进入Programming版参与讨论
1 (共1页)
x****u
发帖数: 44466
1
之后只要自己算法不是太蠢,内存效率的事情就全交给OS管了。
把几G的数据进行某种变化后存入硬盘,这事情本质上和系统休眠换页什么的是一个算
法,除非流媒体。
l*********s
发帖数: 5409
2
学习
f****p
发帖数: 18483
3
没错!或者自己写个device driver,如果不想受到paging的限制。Android就是这么干
的。

【在 x****u 的大作中提到】
: 之后只要自己算法不是太蠢,内存效率的事情就全交给OS管了。
: 把几G的数据进行某种变化后存入硬盘,这事情本质上和系统休眠换页什么的是一个算
: 法,除非流媒体。

w***g
发帖数: 5958
4
mmap是懒人的做法. 要效率的话还是要explicitly读写文件, 然后设计文件格式的时候
尽量增加locality, 读的时候尽量顺序读. mmap也有madvise, 但是你不知道系统到底
是不是正确地take这个advise. 最怕的是搞个mmap然后开始random access.

【在 x****u 的大作中提到】
: 之后只要自己算法不是太蠢,内存效率的事情就全交给OS管了。
: 把几G的数据进行某种变化后存入硬盘,这事情本质上和系统休眠换页什么的是一个算
: 法,除非流媒体。

k**********g
发帖数: 989
5

XP很给力,每次调用UnmapViewOfFile都Flush to disk,
硬盘表示严重气喘,体力不支了。

【在 x****u 的大作中提到】
: 之后只要自己算法不是太蠢,内存效率的事情就全交给OS管了。
: 把几G的数据进行某种变化后存入硬盘,这事情本质上和系统休眠换页什么的是一个算
: 法,除非流媒体。

1 (共1页)
进入Programming版参与讨论
相关主题
程序占用很大内存"brk()" 和 mmap() 有什么区别? (转载)
突然发现现在很反感malloc了奇怪的问题:关于一个简单的malloc()小程序 (转载)
Linux下C++如何快速返回超大文件的某一行字符串?怎样读一个不断更新的文件
C++中释放的内存可能立即返回系统吗?虚心求教,我这样的应该怎么找编程的工作?
请教关于C++内存管理Help! Read random number of lines in a input file.
请问用mmap分配的共享内存如何回收?如何快速保存大块数据(工作中遇到的问题)
新手请问用mmap() copy filelinux下面的程序间通信怎么样最快?
求教:c++中如何从raw data中创建对象?为啥用mmap访问文件的效率高呢?
相关话题的讨论汇总
话题: mmap话题: 文件话题: 王道话题: os话题: 硬盘