A**********e 发帖数: 3102 | 1 为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s
wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统
变得极慢。
这个该咋办?
还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子
就用 screen 提交一堆任务。是不是这个也会影响速度?
free -m
total used free shared buffers cached
Mem: 3620 3610 9 0 1 39
-/+ buffers/cache: 3569 50
Swap: 69583 7972 61611 |
E*V 发帖数: 17544 | 2 在cache里,没有释放吧
/s
系统
【在 A**********e 的大作中提到】 : 为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s : wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统 : 变得极慢。 : 这个该咋办? : 还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子 : 就用 screen 提交一堆任务。是不是这个也会影响速度? : free -m : total used free shared buffers cached : Mem: 3620 3610 9 0 1 39 : -/+ buffers/cache: 3569 50
|
E*V 发帖数: 17544 | 3 那个用户的程序改改吧,时间换空间
/s
系统
【在 A**********e 的大作中提到】 : 为组里用户做了一个测试,测她的程序需要多大的内存,然后就 run out of memory/s : wap 了。kill 掉她的程序,看着 swap 恢复回来了,但是 memory 还是高占用率。系统 : 变得极慢。 : 这个该咋办? : 还有,不得不把 swap 设到了 67G。没办法啊,很多计算太吃内存了,而且还是一下子 : 就用 screen 提交一堆任务。是不是这个也会影响速度? : free -m : total used free shared buffers cached : Mem: 3620 3610 9 0 1 39 : -/+ buffers/cache: 3569 50
|
A**********e 发帖数: 3102 | 4 咋释放?
memory
下子
cached
0
【在 E*V 的大作中提到】 : 在cache里,没有释放吧 : : /s : 系统
|
A**********e 发帖数: 3102 | 5 我们组是做数值计算的,现在大家开始尝试把工作放到 server 上了。每个用户的任何
一个程序跑起来都是要好几 G 的内存的。所以几十 G 的缓存可能很快就顶不住了。上
次和老板开玩笑,说把 250G 的那个盘当作 swap 算了。现在看来还真是有这个趋势啊
。而且看来很快内存就要上到 32G 了,第二个 CPU 也很快要加上了,不然根本跑不动
。
memory
下子
cached
39
【在 E*V 的大作中提到】 : 那个用户的程序改改吧,时间换空间 : : /s : 系统
|
E*V 发帖数: 17544 | 6 我也不知道,应该有个命令?不过我有看了一眼
free -m
total used free shared buffers cached
Mem: 3620 3610 9 0 1 39
-/+ buffers/cache: 3569 50
Swap: 69583 7972 61611
你的内存都用光了啊。只有50照空着
【在 A**********e 的大作中提到】 : 咋释放? : : memory : 下子 : cached : 0
|
E*V 发帖数: 17544 | 7 what top says?
【在 A**********e 的大作中提到】 : 咋释放? : : memory : 下子 : cached : 0
|
A**********e 发帖数: 3102 | 8 top - 18:53:21 up 9 days, 19:07, 14 users, load average: 2.03, 2.64, 3.55
Tasks: 286 total, 4 running, 274 sleeping, 7 stopped, 1 zombie
Cpu0 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu1 : 12.5%us, 3.3%sy, 0.0%ni, 84.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu2 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%
st
Cpu3 : 1.6%us, 2.3%sy, 3.3%ni, 92.4%id, 0.3%wa, 0.0%hi, 0.0%si, 0.0%
st
Mem: 3706880k total, 3690508k use
【在 E*V 的大作中提到】 : what top says?
|
E*V 发帖数: 17544 | 9 用swap很慢的,我宁愿费时间,常申请常释放,要比用swap快
我的经验。所谓非要用几个G的程序的,我个人觉得都是可以优化,
或者修改成用时间来换的。
【在 A**********e 的大作中提到】 : 我们组是做数值计算的,现在大家开始尝试把工作放到 server 上了。每个用户的任何 : 一个程序跑起来都是要好几 G 的内存的。所以几十 G 的缓存可能很快就顶不住了。上 : 次和老板开玩笑,说把 250G 的那个盘当作 swap 算了。现在看来还真是有这个趋势啊 : 。而且看来很快内存就要上到 32G 了,第二个 CPU 也很快要加上了,不然根本跑不动 : 。 : : memory : 下子 : cached : 39
|
A**********e 发帖数: 3102 | 10 是啊,咋办?
【在 E*V 的大作中提到】 : 我也不知道,应该有个命令?不过我有看了一眼 : free -m : total used free shared buffers cached : Mem: 3620 3610 9 0 1 39 : -/+ buffers/cache: 3569 50 : Swap: 69583 7972 61611 : 你的内存都用光了啊。只有50照空着
|
|
|
E*V 发帖数: 17544 | 11 那个显示程序的那个呢?那个程序用了内存?
0%
0%
0%
0%
【在 A**********e 的大作中提到】 : top - 18:53:21 up 9 days, 19:07, 14 users, load average: 2.03, 2.64, 3.55 : Tasks: 286 total, 4 running, 274 sleeping, 7 stopped, 1 zombie : Cpu0 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0% : st : Cpu1 : 12.5%us, 3.3%sy, 0.0%ni, 84.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0% : st : Cpu2 :100.0%us, 0.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0% : st : Cpu3 : 1.6%us, 2.3%sy, 3.3%ni, 92.4%id, 0.3%wa, 0.0%hi, 0.0%si, 0.0% : st
|
E*V 发帖数: 17544 | 12 找到那个程序用的
【在 A**********e 的大作中提到】 : 是啊,咋办?
|
A**********e 发帖数: 3102 | 13 理论上如此,实际上我们都是用现成的工具,自己没有什么调整空间的。比如说,用 m
atlab 的 ode solver,自己咋调?可能老板更愿意花几百块钱买内存。
任何
。上
势啊
不动
【在 E*V 的大作中提到】 : 用swap很慢的,我宁愿费时间,常申请常释放,要比用swap快 : 我的经验。所谓非要用几个G的程序的,我个人觉得都是可以优化, : 或者修改成用时间来换的。
|
E*V 发帖数: 17544 | 14 ode的solver,自己写一个。。。
m
【在 A**********e 的大作中提到】 : 理论上如此,实际上我们都是用现成的工具,自己没有什么调整空间的。比如说,用 m : atlab 的 ode solver,自己咋调?可能老板更愿意花几百块钱买内存。 : : 任何 : 。上 : 势啊 : 不动
|
A**********e 发帖数: 3102 | 15 是一个 solver,开了两个线程,占了所有使用中的内存的 85%。而且很明显,内存用了
3.6G,swap 用了 8.2G,每个用的内存都比我的实际内存要大。
有没有办法限制这种 monster 的内存使用量,让他们都去用缓存?速度其实不是个问题
。
【在 E*V 的大作中提到】 : 找到那个程序用的
|
E*V 发帖数: 17544 | 16 开玩笑了,其实导出都是现成的src code
【在 E*V 的大作中提到】 : ode的solver,自己写一个。。。 : : m
|
A**********e 发帖数: 3102 | 17 ft 啊,术业有专攻啊,时间都花在这上面怎么成?
【在 E*V 的大作中提到】 : ode的solver,自己写一个。。。 : : m
|
E*V 发帖数: 17544 | 18 有一个命令可以调优先使用swap还是内存啊啥的,
你找找,我忘了
用了
问题
【在 A**********e 的大作中提到】 : 是一个 solver,开了两个线程,占了所有使用中的内存的 85%。而且很明显,内存用了 : 3.6G,swap 用了 8.2G,每个用的内存都比我的实际内存要大。 : 有没有办法限制这种 monster 的内存使用量,让他们都去用缓存?速度其实不是个问题 : 。
|
A**********e 发帖数: 3102 | 19 swappiness?
$ cat /proc/sys/vm/swappiness
60
$ cat /proc/sys/vm/swap_token_timeout
300 0
这个看着还成啊。。。
【在 E*V 的大作中提到】 : 有一个命令可以调优先使用swap还是内存啊啥的, : 你找找,我忘了 : : 用了 : 问题
|
E*V 发帖数: 17544 | 20 好像就是这个。
【在 A**********e 的大作中提到】 : swappiness? : $ cat /proc/sys/vm/swappiness : 60 : $ cat /proc/sys/vm/swap_token_timeout : 300 0 : 这个看着还成啊。。。
|
|
|
A**********e 发帖数: 3102 | 21 现在好了,看来 simulation 做完了。
这个值好像很有趣啊:设成优先用内存,则内存更不够;否则,反而会把我给挤到 swa
p 去。我就是想找一个可以针对每一个 task 来调 swappiness 的办法,让那些大家伙
们主要在 swap 里待着。是不是应该靠调 nice 啊?
【在 E*V 的大作中提到】 : 好像就是这个。
|
E*V 发帖数: 17544 | 22 nice当然也是一个方法啊,你没有装个pbs啥的?
swa
【在 A**********e 的大作中提到】 : 现在好了,看来 simulation 做完了。 : 这个值好像很有趣啊:设成优先用内存,则内存更不够;否则,反而会把我给挤到 swa : p 去。我就是想找一个可以针对每一个 task 来调 swappiness 的办法,让那些大家伙 : 们主要在 swap 里待着。是不是应该靠调 nice 啊?
|
A**********e 发帖数: 3102 | 23 rhel 的 yum 里找不到啊。
家伙
【在 E*V 的大作中提到】 : nice当然也是一个方法啊,你没有装个pbs啥的? : : swa
|
r****t 发帖数: 10904 | |