由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Linux版 - run out of memory 后系统变得极慢
相关主题
用free查到的memory里面的"cache"是做什么用的?为啥 inode-cache 的内存算在 used 里面,不算在 cached 里面呢?
freeLinux memory leak even without our application running
新人5个包子请教问题,redhat读写文件的内存问题想修改buffer cache的内核代码?请问从哪开始
Intel Mobin 2 秒钟启动到 GUIfwrite 速度慢 怎么提高啊
swap疑问为什么我的python code总是显示D
咋限制一个进程的内存 quota?32bit 内存支持问题
how big is your swap?请问什么叫做"snoopable memory"?
Desktop getting slow?请问把memory dump到一个文件以后如何分析其内容?
相关话题的讨论汇总
话题: swap话题: 内存话题: buffers话题: memory话题: mem
进入Linux版参与讨论
1 (共1页)
A**********e
发帖数: 3102
1
为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s
wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统
变得极慢。
这个该咋办?
还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子
就用 screen 提交一堆任务。是不是这个也会影响速度?
free -m
total used free shared buffers cached
Mem: 3620 3610 9 0 1 39
-/+ buffers/cache: 3569 50
Swap: 69583 7972 61611
E*V
发帖数: 17544
2
在cache里,没有释放吧

/s
系统

【在 A**********e 的大作中提到】
: 为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s
: wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统
: 变得极慢。
: 这个该咋办?
: 还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子
: 就用 screen 提交一堆任务。是不是这个也会影响速度?
: free -m
: total used free shared buffers cached
: Mem: 3620 3610 9 0 1 39
: -/+ buffers/cache: 3569 50

E*V
发帖数: 17544
3
那个用户的程序改改吧,时间换空间

/s
系统

【在 A**********e 的大作中提到】
: 为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s
: wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统
: 变得极慢。
: 这个该咋办?
: 还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子
: 就用 screen 提交一堆任务。是不是这个也会影响速度?
: free -m
: total used free shared buffers cached
: Mem: 3620 3610 9 0 1 39
: -/+ buffers/cache: 3569 50

A**********e
发帖数: 3102
4
咋释放?

memory
下子
cached
0

【在 E*V 的大作中提到】
: 在cache里,没有释放吧
:
: /s
: 系统

A**********e
发帖数: 3102
5
我们组是做数值计算的,现在大家开始尝试把工作放到 server 上了。每个用户的任何
一个程序跑起来都是要好几 G 的内存的。所以几十 G 的缓存可能很快就顶不住了。上
次和老板开玩笑,说把 250G 的那个盘当作 swap 算了。现在看来还真是有这个趋势啊
。而且看来很快内存就要上到 32G 了,第二个 CPU 也很快要加上了,不然根本跑不动


memory
下子
cached
39

【在 E*V 的大作中提到】
: 那个用户的程序改改吧,时间换空间
:
: /s
: 系统

E*V
发帖数: 17544
6
我也不知道,应该有个命令?不过我有看了一眼
free -m
total used free shared buffers cached
Mem: 3620 3610 9 0 1 39
-/+ buffers/cache: 3569 50
Swap: 69583 7972 61611
你的内存都用光了啊。只有50照空着

【在 A**********e 的大作中提到】
: 咋释放?
:
: memory
: 下子
: cached
: 0

E*V
发帖数: 17544
7
what top says?

【在 A**********e 的大作中提到】
: 咋释放?
:
: memory
: 下子
: cached
: 0

A**********e
发帖数: 3102
8
top - 18:53:21 up 9 days, 19:07, 14 users, load average: 2.03, 2.64, 3.55
Tasks: 286 total, 4 running, 274 sleeping, 7 stopped, 1 zombie
Cpu0 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu1 : 12.5%us, 3.3%sy, 0.0%ni, 84.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu2 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu3 : 1.6%us, 2.3%sy, 3.3%ni, 92.4%id, 0.3%wa, 0.0%hi, 0.0%si, 0.0%
st
Mem: 3706880k total, 3690508k use

【在 E*V 的大作中提到】
: what top says?
E*V
发帖数: 17544
9
用swap很慢的,我宁愿费时间,常申请常释放,要比用swap快
我的经验。所谓非要用几个G的程序的,我个人觉得都是可以优化,
或者修改成用时间来换的。

【在 A**********e 的大作中提到】
: 我们组是做数值计算的,现在大家开始尝试把工作放到 server 上了。每个用户的任何
: 一个程序跑起来都是要好几 G 的内存的。所以几十 G 的缓存可能很快就顶不住了。上
: 次和老板开玩笑,说把 250G 的那个盘当作 swap 算了。现在看来还真是有这个趋势啊
: 。而且看来很快内存就要上到 32G 了,第二个 CPU 也很快要加上了,不然根本跑不动
: 。
:
: memory
: 下子
: cached
: 39

A**********e
发帖数: 3102
10
是啊,咋办?

【在 E*V 的大作中提到】
: 我也不知道,应该有个命令?不过我有看了一眼
: free -m
: total used free shared buffers cached
: Mem: 3620 3610 9 0 1 39
: -/+ buffers/cache: 3569 50
: Swap: 69583 7972 61611
: 你的内存都用光了啊。只有50照空着

相关主题
咋限制一个进程的内存 quota?为啥 inode-cache 的内存算在 used 里面,不算在 cached 里面呢?
how big is your swap?Linux memory leak even without our application running
Desktop getting slow?想修改buffer cache的内核代码?请问从哪开始
进入Linux版参与讨论
E*V
发帖数: 17544
11
那个显示程序的那个呢?那个程序用了内存?

0%
0%
0%
0%

【在 A**********e 的大作中提到】
: top - 18:53:21 up 9 days, 19:07, 14 users, load average: 2.03, 2.64, 3.55
: Tasks: 286 total, 4 running, 274 sleeping, 7 stopped, 1 zombie
: Cpu0 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
: st
: Cpu1 : 12.5%us, 3.3%sy, 0.0%ni, 84.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
: st
: Cpu2 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
: st
: Cpu3 : 1.6%us, 2.3%sy, 3.3%ni, 92.4%id, 0.3%wa, 0.0%hi, 0.0%si, 0.0%
: st

E*V
发帖数: 17544
12
找到那个程序用的

【在 A**********e 的大作中提到】
: 是啊,咋办?
A**********e
发帖数: 3102
13
理论上如此,实际上我们都是用现成的工具,自己没有什么调整空间的。比如说,用 m
atlab 的 ode solver,自己咋调?可能老板更愿意花几百块钱买内存。

任何
。上
势啊
不动

【在 E*V 的大作中提到】
: 用swap很慢的,我宁愿费时间,常申请常释放,要比用swap快
: 我的经验。所谓非要用几个G的程序的,我个人觉得都是可以优化,
: 或者修改成用时间来换的。

E*V
发帖数: 17544
14
ode的solver,自己写一个。。。

m

【在 A**********e 的大作中提到】
: 理论上如此,实际上我们都是用现成的工具,自己没有什么调整空间的。比如说,用 m
: atlab 的 ode solver,自己咋调?可能老板更愿意花几百块钱买内存。
:
: 任何
: 。上
: 势啊
: 不动

A**********e
发帖数: 3102
15
是一个 solver,开了两个线程,占了所有使用中的内存的 85%。而且很明显,内存用了
3.6G,swap 用了 8.2G,每个用的内存都比我的实际内存要大。
有没有办法限制这种 monster 的内存使用量,让他们都去用缓存?速度其实不是个问题


【在 E*V 的大作中提到】
: 找到那个程序用的
E*V
发帖数: 17544
16
开玩笑了,其实导出都是现成的src code

【在 E*V 的大作中提到】
: ode的solver,自己写一个。。。
:
: m

A**********e
发帖数: 3102
17
ft 啊,术业有专攻啊,时间都花在这上面怎么成?

【在 E*V 的大作中提到】
: ode的solver,自己写一个。。。
:
: m

E*V
发帖数: 17544
18
有一个命令可以调优先使用swap还是内存啊啥的,
你找找,我忘了

用了
问题

【在 A**********e 的大作中提到】
: 是一个 solver,开了两个线程,占了所有使用中的内存的 85%。而且很明显,内存用了
: 3.6G,swap 用了 8.2G,每个用的内存都比我的实际内存要大。
: 有没有办法限制这种 monster 的内存使用量,让他们都去用缓存?速度其实不是个问题
: 。

A**********e
发帖数: 3102
19
swappiness?
$ cat /proc/sys/vm/swappiness
60
$ cat /proc/sys/vm/swap_token_timeout
300 0
这个看着还成啊。。。

【在 E*V 的大作中提到】
: 有一个命令可以调优先使用swap还是内存啊啥的,
: 你找找,我忘了
:
: 用了
: 问题

E*V
发帖数: 17544
20
好像就是这个。

【在 A**********e 的大作中提到】
: swappiness?
: $ cat /proc/sys/vm/swappiness
: 60
: $ cat /proc/sys/vm/swap_token_timeout
: 300 0
: 这个看着还成啊。。。

相关主题
fwrite 速度慢 怎么提高啊请问什么叫做"snoopable memory"?
为什么我的python code总是显示D请问把memory dump到一个文件以后如何分析其内容?
32bit 内存支持问题vim的window很难用啊...
进入Linux版参与讨论
A**********e
发帖数: 3102
21
现在好了,看来 simulation 做完了。
这个值好像很有趣啊:设成优先用内存,则内存更不够;否则,反而会把我给挤到 swa
p 去。我就是想找一个可以针对每一个 task 来调 swappiness 的办法,让那些大家伙
们主要在 swap 里待着。是不是应该靠调 nice 啊?

【在 E*V 的大作中提到】
: 好像就是这个。
E*V
发帖数: 17544
22
nice当然也是一个方法啊,你没有装个pbs啥的?

swa

【在 A**********e 的大作中提到】
: 现在好了,看来 simulation 做完了。
: 这个值好像很有趣啊:设成优先用内存,则内存更不够;否则,反而会把我给挤到 swa
: p 去。我就是想找一个可以针对每一个 task 来调 swappiness 的办法,让那些大家伙
: 们主要在 swap 里待着。是不是应该靠调 nice 啊?

A**********e
发帖数: 3102
23
rhel 的 yum 里找不到啊。

家伙

【在 E*V 的大作中提到】
: nice当然也是一个方法啊,你没有装个pbs啥的?
:
: swa

r****t
发帖数: 10904
24
swapiness + ionice
1 (共1页)
进入Linux版参与讨论
相关主题
请问把memory dump到一个文件以后如何分析其内容?swap疑问
vim的window很难用啊...咋限制一个进程的内存 quota?
CentOS 5.3 怎么还不出来?how big is your swap?
装了一个rhel5后Desktop getting slow?
用free查到的memory里面的"cache"是做什么用的?为啥 inode-cache 的内存算在 used 里面,不算在 cached 里面呢?
freeLinux memory leak even without our application running
新人5个包子请教问题,redhat读写文件的内存问题想修改buffer cache的内核代码?请问从哪开始
Intel Mobin 2 秒钟启动到 GUIfwrite 速度慢 怎么提高啊
相关话题的讨论汇总
话题: swap话题: 内存话题: buffers话题: memory话题: mem