w***n
发帖数: 738 | 1 只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序
主要是最近要运行一些程序处理大批数据，程序不大，但是把数据load进去之后运算时
，要消耗大量内存，预计要几十个G，在一台16G RAM的电脑上跑过，10天后由于memory
不够而退出了！！！ |
D*******a
发帖数: 3688 | 2 OS will virtualize memory. You may want to increase the limit though.
memory
【在 w***n 的大作中提到】
: 只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序
: 主要是最近要运行一些程序处理大批数据，程序不大，但是把数据load进去之后运算时
: ，要消耗大量内存，预计要几十个G，在一台16G RAM的电脑上跑过，10天后由于memory
: 不够而退出了！！！
|
G**Y
发帖数: 33224 | 3 不需要自己弄吧
但是你要考虑能不能优化程序呀
一般运算不会同时需要己是个G吧？
要不就算用上虚拟内存也慢死了。
memory
【在 w***n 的大作中提到】
: 只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序
: 主要是最近要运行一些程序处理大批数据，程序不大，但是把数据load进去之后运算时
: ，要消耗大量内存，预计要几十个G，在一台16G RAM的电脑上跑过，10天后由于memory
: 不够而退出了！！！
|
w***n
发帖数: 738 | 4 你是说就好像在windows下直接设置大一点的虚拟内存？
【在 D*******a 的大作中提到】
: OS will virtualize memory. You may want to increase the limit though.
:
: memory
|
b***u
发帖数: 12010 | 5 几十g的话可能os支持不了这么大的virtual addressing。上64位windows。
【在 w***n 的大作中提到】
: 你是说就好像在windows下直接设置大一点的虚拟内存？
|
w***n
发帖数: 738 | 6 现在用的已经是64位windows了
但是还在犹豫到底该在什么平台下做
windows下好像不可以指定用多少个核进行运算吧？
【在 b***u 的大作中提到】
: 几十g的话可能os支持不了这么大的virtual addressing。上64位windows。
|
w***n
发帖数: 738 | 7 要会优化程序就好了，唉，后悔没读CS啊，只能从别处想办法
【在 G**Y 的大作中提到】
: 不需要自己弄吧
: 但是你要考虑能不能优化程序呀
: 一般运算不会同时需要己是个G吧？
: 要不就算用上虚拟内存也慢死了。
:
: memory
|
A*****s
发帖数: 13748 | 8 HD那么慢你当RAM用？？！！
memory
【在 w***n 的大作中提到】
: 只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序
: 主要是最近要运行一些程序处理大批数据，程序不大，但是把数据load进去之后运算时
: ，要消耗大量内存，预计要几十个G，在一台16G RAM的电脑上跑过，10天后由于memory
: 不够而退出了！！！
|
b***u
发帖数: 12010 | 9 啥程序？可能没申请这么多内存所以暴了。
【在 w***n 的大作中提到】
: 要会优化程序就好了，唉，后悔没读CS啊，只能从别处想办法
|
w***n
发帖数: 738 | 10 现在只想知道这个做法可行不可行，暂时先不考虑时间，不确定内存的速度是否是瓶颈
不过如果使用SSD呢
【在 A*****s 的大作中提到】
: HD那么慢你当RAM用？？！！
:
: memory
|
|
|
w***n
发帖数: 738 | 11 DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
存用完就只能退出了
【在 b***u 的大作中提到】
: 啥程序？可能没申请这么多内存所以暴了。
|
A*****s
发帖数: 13748 | 12 就算是ssd，速度也只是ram的零头
用hd替代ram都不是时间问题，是时间的量纲都彻底变了
搞不好现在的操作系统都会crash
【在 w***n 的大作中提到】
: 现在只想知道这个做法可行不可行，暂时先不考虑时间，不确定内存的速度是否是瓶颈
: 不过如果使用SSD呢
|
b***u
发帖数: 12010 | 13 java?matlab?c?
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
p****t
发帖数: 11416 | 14 SSD和HDD速度最多一个数量级差别，连续读取恐怕还没有
HDD和内存至少是三个数量级的差别
如果你的程序真的需要频繁读取所有数据，加内存是正途
【在 w***n 的大作中提到】
: 现在只想知道这个做法可行不可行，暂时先不考虑时间，不确定内存的速度是否是瓶颈
: 不过如果使用SSD呢
|
A*****s
发帖数: 13748 | 15 而且无论什么盘，也禁不起ram读写那个速率的造啊
几个小时估计就挂了
【在 p****t 的大作中提到】
: SSD和HDD速度最多一个数量级差别，连续读取恐怕还没有
: HDD和内存至少是三个数量级的差别
: 如果你的程序真的需要频繁读取所有数据，加内存是正途
|
G**Y
发帖数: 33224 | 16 后后
DNA
就没办法了
买内存吧
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
w***n
发帖数: 738 | 17 嗯，谢谢大家，看来这个也不是一个很现实的想法，我再想想还有没有其他办法吧 |
G**Y
发帖数: 33224 | 18 话说回来
DNA排序哪有在自己机器上搞的？
人家都是在linux server上搞
几十G内存可能还是要得
【在 G**Y 的大作中提到】
: 后后
: DNA
: 就没办法了
: 买内存吧
|
b***u
发帖数: 12010 | 19 16g再往上加也不容易。建议改map-reduce用amazon的cloud。
【在 G**Y 的大作中提到】
: 后后
: DNA
: 就没办法了
: 买内存吧
|
w***n
发帖数: 738 | 20 唉，没有这个条件啊，学校倒是有50G左右的cluster，但是也是多台电脑共用的，而且
根本排不上
真希望自己有台这样的电脑：
http://forums.techarena.in/motherboard-processor-ram/1093846.ht
【在 G**Y 的大作中提到】
: 话说回来
: DNA排序哪有在自己机器上搞的？
: 人家都是在linux server上搞
: 几十G内存可能还是要得
|
|
|
a*s
发帖数: 425 | 21 现在一般的服务器主板都可以插大于30G内存吧
这个link有点old了，
【在 w***n 的大作中提到】
: 唉，没有这个条件啊，学校倒是有50G左右的cluster，但是也是多台电脑共用的，而且
: 根本排不上
: 真希望自己有台这样的电脑：
: http://forums.techarena.in/motherboard-processor-ram/1093846.ht
|
y**b
发帖数: 10166 | 22 普通cluster上的一个结点的内存也就32gb左右, 所以你的算法可能需要并行化. |
b*****o
发帖数: 284 | |
t****3
发帖数: 2337 | |
b********7
发帖数: 12906 | |
x*z
发帖数: 1010 | |
x*z
发帖数: 1010 | 27 也许人家的意思是做ramdisk然后再在ramdisk上做swap呢？呵呵。。。
【在 b********7 的大作中提到】
: 你这个说反了. 人家要的是内存, .
|
t****3
发帖数: 2337 | 28 我意思很明显,用 RAM DISK做虚拟内存
【在 b********7 的大作中提到】
: 你这个说反了. 人家要的是内存, .
|
b********7
发帖数: 12906 | 29 很有想法的一个人.
【在 x*z 的大作中提到】
: 也许人家的意思是做ramdisk然后再在ramdisk上做swap呢？呵呵。。。
|
b********7
发帖数: 12906 | 30 RAM DISK从哪儿来?
【在 t****3 的大作中提到】
: 我意思很明显,用 RAM DISK做虚拟内存
|
|
|
A*****s
发帖数: 13748 | |
h*******u
发帖数: 15326 | 32 内存不释放？
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
a***e
发帖数: 27968 | 33 you should release the memory that is not needed anymore
no reason you need such high amount of memory.
even you have TB level of data. at any given time, no so many data is needed
by CPU for sure.
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
h*******u
发帖数: 15326 | 34 1.释放无用内存
2.输出中间结果到硬盘
needed
【在 a***e 的大作中提到】
: you should release the memory that is not needed anymore
: no reason you need such high amount of memory.
: even you have TB level of data. at any given time, no so many data is needed
: by CPU for sure.
|
t****3
发帖数: 2337 | 35 google啊， 我原回帖有连接的。还是05年的产品，现在的自己找找嘛。
【在 b********7 的大作中提到】
: RAM DISK从哪儿来?
|
t****3
发帖数: 2337 | 36 “只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序”
反过来就是虚拟内存，我的理解不对吗。
RAM不够上DISK RAM， 不够快再上 RAM DISK.（RAM-like performance HARD DISK）
05年就有产品了，RAM DISK使用灵活，不管主板RAM做何种升级都可以使用。可以用多
盘组成庞大的虚拟内存。达到操作系统提供的内存极限。
【在 A*****s 的大作中提到】
: lz需要的是disk ram lol
|
w***n
发帖数: 738 | 37 程序不是我编的啊，而且我也不知道怎么去改，虽然你说的想法我也有过，但是没法实
施，我就本科的时候学了点C语言，根本派不上用场
另外，我也不知道为什么这个程序要消耗那么大的内存，不过我们的序列倒是有200k条
左右，每条长度500bp，数据也算不少了吧
【在 h*******u 的大作中提到】
: 1.释放无用内存
: 2.输出中间结果到硬盘
:
: needed
|
t****d
发帖数: 3204 | 38 你不要太欢乐乐
ramdisk是用内存当硬盘
LZ你们学校的电脑太次了，你搞这种运算肯定要在cluster上算啊
【在 t****3 的大作中提到】
: “只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序”
: 反过来就是虚拟内存，我的理解不对吗。
: RAM不够上DISK RAM， 不够快再上 RAM DISK.（RAM-like performance HARD DISK）
: 05年就有产品了，RAM DISK使用灵活，不管主板RAM做何种升级都可以使用。可以用多
: 盘组成庞大的虚拟内存。达到操作系统提供的内存极限。
|
b********7
发帖数: 12906 | 39 我晕, 你竟然认真回我这贴....
【在 t****3 的大作中提到】
: google啊， 我原回帖有连接的。还是05年的产品，现在的自己找找嘛。
|
t****3
发帖数: 2337 | 40 我当然知道RAMDISK是用RAM做DISK，没见我的中间有空格吗，查了下全称是
'RAM-like performance HARD DISK'
【在 t****d 的大作中提到】
: 你不要太欢乐乐
: ramdisk是用内存当硬盘
: LZ你们学校的电脑太次了，你搞这种运算肯定要在cluster上算啊
|
|
|
t****3
发帖数: 2337 | 41 有疑惑就要解释嘛。
查了下全称是 'RAM-like performance HARD DISK'
【在 b********7 的大作中提到】
: 我晕, 你竟然认真回我这贴....
|
w***n
发帖数: 738 | 42 我也是这么想的啊，问题是原来编程序的人可能没想到这一点，或者那时候不需要一下
子做这么多数据的比较
我也曾想过其他的方法，比如把数据文件分割成几个小文件再处理。。。但是好像这样
不能得到我们想要的结果
刚简单看了下源程序，有近600个c++的文件，估计凭我的那点c基础，一年都搞不定啊
，头疼了~
needed
【在 a***e 的大作中提到】
: you should release the memory that is not needed anymore
: no reason you need such high amount of memory.
: even you have TB level of data. at any given time, no so many data is needed
: by CPU for sure.
|
t****3
发帖数: 2337 | 43 是老印编的程序吧。
【在 w***n 的大作中提到】
: 我也是这么想的啊，问题是原来编程序的人可能没想到这一点，或者那时候不需要一下
: 子做这么多数据的比较
: 我也曾想过其他的方法，比如把数据文件分割成几个小文件再处理。。。但是好像这样
: 不能得到我们想要的结果
: 刚简单看了下源程序，有近600个c++的文件，估计凭我的那点c基础，一年都搞不定啊
: ，头疼了~
:
: needed
|
w***n
发帖数: 738 | 44 唉，学校可能还有好一些的资源，不过轮不上。
当时接这个课题的时候根本也没想到会有这样的问题，数据出来了都没法处理。。。
【在 t****d 的大作中提到】
: 你不要太欢乐乐
: ramdisk是用内存当硬盘
: LZ你们学校的电脑太次了，你搞这种运算肯定要在cluster上算啊
|
w***n
发帖数: 738 | 45 那程序领头的是美国人，不知道具体写的是不是了，是又如何呢？
是老印的程序特别耗资源？不做优化？
原来从来没怎么觉得到现在这个时代计算机资源还不够用（以前最多也就高清视频耗的
资源可能多些），现在体会到了技术的发展还是不够快啊
【在 t****3 的大作中提到】
: 是老印编的程序吧。
|
L*****y
发帖数: 4290 | 46 你现在有多少内存啊? 我们这儿有个 dell t3500 24G内存
唉，没有这个条件啊，学校倒是有50G左右的cluster，但是也是多台电脑共用的，而且
根本排不上
真希望自己有台这样的电脑：
http://forums.techarena.in/motherboard-processor-ram/1093846.ht
【在 w***n 的大作中提到】
: 唉，没有这个条件啊，学校倒是有50G左右的cluster，但是也是多台电脑共用的，而且
: 根本排不上
: 真希望自己有台这样的电脑：
: http://forums.techarena.in/motherboard-processor-ram/1093846.ht
|
w***n
发帖数: 738 | 47 不够，预计可能要50G左右的内存。
现在不得已，还是把数据拆成了三个文件，正在跑其中的一个，内存是16G，可能会够
了，不过这样做出来的结果，结论性会差很多
【在 L*****y 的大作中提到】
: 你现在有多少内存啊? 我们这儿有个 dell t3500 24G内存
:
: 唉，没有这个条件啊，学校倒是有50G左右的cluster，但是也是多台电脑共用的，而且
: 根本排不上
: 真希望自己有台这样的电脑：
: http://forums.techarena.in/motherboard-processor-ram/1093846.ht
|
t****3
发帖数: 2337 | 48 老印编程喜欢用数组，容易编写和阅读，一开始就定义个足够大的数组，不够就再扩大
。老中编程喜欢用链表，事实读取和释放内存，凸显个人智慧。所以估计是老印的，用
链表一般都注意释放的。但用不好就会LEAK，直至死机。
【在 w***n 的大作中提到】
: 那程序领头的是美国人，不知道具体写的是不是了，是又如何呢？
: 是老印的程序特别耗资源？不做优化？
: 原来从来没怎么觉得到现在这个时代计算机资源还不够用（以前最多也就高清视频耗的
: 资源可能多些），现在体会到了技术的发展还是不够快啊
|
p**********r
发帖数: 1693 | 49 really old, nowadays, large RAM starts from TB
【在 a*s 的大作中提到】
: 现在一般的服务器主板都可以插大于30G内存吧
: 这个link有点old了，
|
t****3
发帖数: 2337 | |
|
|
w***n
发帖数: 738 | 51 but it's far away from my life :[
【在 p**********r 的大作中提到】
: really old, nowadays, large RAM starts from TB
|
t****3
发帖数: 2337 | 52 07 年的产品，32G 8000 times faster than a 10,000RPM spinning hard disk
http://www.hyperdrive4.com/index.php
【在 w***n 的大作中提到】
: but it's far away from my life :[
|
w***n
发帖数: 738 | 53 哦，这个好像还是把ram当harddrive使，我回复的是前面有人说TB级内存的那个
【在 t****3 的大作中提到】
: 07 年的产品，32G 8000 times faster than a 10,000RPM spinning hard disk
: http://www.hyperdrive4.com/index.php
|
g**w
发帖数: 969 | 54 这是典型的memory mapped file的应用，
做一个文件到内存的映射，
操作系统会负责啥时候load,啥时候内存不够swap
对应用程序就是一个大数组 |
t****3
发帖数: 2337 | 55 TB太贵了，LZ两个32G的就够了
【在 w***n 的大作中提到】
: 哦，这个好像还是把ram当harddrive使，我回复的是前面有人说TB级内存的那个
|
s****9
发帖数: 2226 | 56 为何两个32G，一个64G不行？做cluster?做cluster的好处是冗余能提高可靠性，但大
型计算可用性不能保证，谈什么可靠性
TB太贵了，LZ两个32G的就够了
【在 t****3 的大作中提到】
: TB太贵了，LZ两个32G的就够了
|
t****3
发帖数: 2337 | 57 我是针对这个32G的产品说的。一个64G当然可以，越多越好啊。
两个盘都设成虚拟内存，不是cluster。
【在 s****9 的大作中提到】
: 为何两个32G，一个64G不行？做cluster?做cluster的好处是冗余能提高可靠性，但大
: 型计算可用性不能保证，谈什么可靠性
:
: TB太贵了，LZ两个32G的就够了
|
f******a
发帖数: 148 | 58 I know it is possible, but I do not know how exactly to do it.
A student in a lab had a simulation program that uses ram like crazy, he
managed to install or use SSD as RAM.He showed me the model type on newegg,
very expensive.(Maybe RAM based SSDs ?)
memory
【在 w***n 的大作中提到】
: 只知道有程序可以把RAM当做harddrive来用的，不知道有没有可以将之反过来的程序
: 主要是最近要运行一些程序处理大批数据，程序不大，但是把数据load进去之后运算时
: ，要消耗大量内存，预计要几十个G，在一台16G RAM的电脑上跑过，10天后由于memory
: 不够而退出了！！！
|
l*****n
发帖数: 1844 | |
B*G
发帖数: 13438 | 60 有三千来块总预算就能自己攒个上一代1366的dual xeon workstation，找E-ATX主板，
18槽x4gb registered ECC内存大概一千五，或者12槽x8gb内存两千。所有单子走新蛋
加快送货，你这周五就能装起来用上。搞什么硬盘ram或者优化程序，对你是浪费时间
，对老板是浪费钱。 |
|
|
g**t
发帖数: 1872 | 61 你重写你的程序吧，一般DNA排序不是占很少的内存吗？我不是这方面的，这方面的人
说说吧。
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
g**t
发帖数: 1872 | 62 SSD这样用法，很快就会被搞死。
【在 A*****s 的大作中提到】
: 就算是ssd，速度也只是ram的零头
: 用hd替代ram都不是时间问题，是时间的量纲都彻底变了
: 搞不好现在的操作系统都会crash
|
w***n
发帖数: 738 | 63 问题是我们这个project的funding已经用完了，因为结果还没出来，所以也没续上，老
板似乎也不愿意花太多钱在这个上面了，如果花费在1k以内，或许还能说服一下老板，
5k左右估计还是不大可能
虽然我也去看了一下这些配置，要是我管钱肯定也就买了，可惜不是啊
【在 B*G 的大作中提到】
: 有三千来块总预算就能自己攒个上一代1366的dual xeon workstation，找E-ATX主板，
: 18槽x4gb registered ECC内存大概一千五，或者12槽x8gb内存两千。所有单子走新蛋
: 加快送货，你这周五就能装起来用上。搞什么硬盘ram或者优化程序，对你是浪费时间
: ，对老板是浪费钱。
|
w***n
发帖数: 738 | 64 如果简单都和同一个template排序肯定是用不了，现在是要200k条序列两两排序，还有
些其他的计算操作，量还是很大的
【在 g**t 的大作中提到】
: 你重写你的程序吧，一般DNA排序不是占很少的内存吗？我不是这方面的，这方面的人
: 说说吧。
|
b***d
发帖数: 186 | 65 我们去年买的HP DL385 G7 就128G内存 24cores。估计够用了。
【在 w***n 的大作中提到】
: 不够，预计可能要50G左右的内存。
: 现在不得已，还是把数据拆成了三个文件，正在跑其中的一个，内存是16G，可能会够
: 了，不过这样做出来的结果，结论性会差很多
|
p****t
发帖数: 11416 | 66 完全没用，IDE、SATA bus的速度太低了
【在 t****3 的大作中提到】
: 我意思很明显,用 RAM DISK做虚拟内存
|
i**e
发帖数: 6810 | 67 SSD也要把机器交换S。
不知道DNA怎么排序。一般情况大量排序只能分块排，
然后merge。
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
l*****n
发帖数: 1844 | 68 是很多fragment拼凑成一个完整序列？
这个应该分块做呀
不能全放在内存里吧？
【在 w***n 的大作中提到】
: 如果简单都和同一个template排序肯定是用不了，现在是要200k条序列两两排序，还有
: 些其他的计算操作，量还是很大的
|
f****a
发帖数: 4708 | |
a*o
发帖数: 19981 | 70 呵呵，跟哥想到一块儿了。
【在 t****3 的大作中提到】
: 是老印编的程序吧。
|
|
|
l*****n
发帖数: 1844 | 71 少量数据烂就烂点
浪费的起
海量数据还这样就。。。
【在 f****a 的大作中提到】
: 程序编的烂，再好的机器也没辄。
|
m****t
发帖数: 555 | 72
就这也叫海量数据？别搞笑了。
200K条记录的表在数据库里也就是一个小数据表，连中等都算不上。数据库里这种内部
排序处理操作也不少，但要的资源都不大呀。
只能说程序写的太烂。
【在 l*****n 的大作中提到】
: 少量数据烂就烂点
: 浪费的起
: 海量数据还这样就。。。
|
l*****n
发帖数: 1844 | 73 对他这个程序来说
算海量了
【在 m****t 的大作中提到】
:
: 就这也叫海量数据？别搞笑了。
: 200K条记录的表在数据库里也就是一个小数据表，连中等都算不上。数据库里这种内部
: 排序处理操作也不少，但要的资源都不大呀。
: 只能说程序写的太烂。
|
w***n
发帖数: 738 | 74 我也觉得用不了这么多内存，不过程序又不是我写的，我只是使用者而已
正在想其他的办法，看能不能把问题简化一下，或者是再找找看有没有其他相似的程序
能实现这个功能吧
【在 m****t 的大作中提到】
:
: 就这也叫海量数据？别搞笑了。
: 200K条记录的表在数据库里也就是一个小数据表，连中等都算不上。数据库里这种内部
: 排序处理操作也不少，但要的资源都不大呀。
: 只能说程序写的太烂。
|
w***n
发帖数: 738 | 75 比这个还要复杂
【在 l*****n 的大作中提到】
: 是很多fragment拼凑成一个完整序列？
: 这个应该分块做呀
: 不能全放在内存里吧？
|
s********i
发帖数: 17328 | 76 这个没办法，数据量太大只有用硬盘做temp。但应该是算法实现而不要申请内存。也就是说，整块的读写硬盘数据, 而不是随机读取硬盘。这个应该是现成的算法，比如数据库大量数据sort的时候也要用到temp。
【在 w***n 的大作中提到】
: DNA 排序的程序，主要是数据量太大，应该是在运行的过程中不断申请内存，到后面内
: 存用完就只能退出了
|
R***a
发帖数: 41892 | 77 嗯，显然是排序算法没写好。写程序的人没有去选修一门算法课的后果啊
就是说，整块的读写硬盘数据, 而不是随机读取硬盘。这个应该是现成的算法，比如数
据库大量数据sort的时候也要用到temp。
【在 s********i 的大作中提到】
: 这个没办法，数据量太大只有用硬盘做temp。但应该是算法实现而不要申请内存。也就是说，整块的读写硬盘数据, 而不是随机读取硬盘。这个应该是现成的算法，比如数据库大量数据sort的时候也要用到temp。
|
p**o
发帖数: 3409 | 78 尽量说服老板升级硬件，把有限的时间砸在改别人的破代码上不划算。 |
R***a
发帖数: 41892 | 79 升级到TB级的RAM目前有困难
【在 p**o 的大作中提到】
: 尽量说服老板升级硬件，把有限的时间砸在改别人的破代码上不划算。
|
V******y
发帖数: 460 | |
|
|
g**t
发帖数: 1872 | 81 我不是码农，但依你所说的，我建议你看看能否用mmap取代某些malloc类的function，
直接memory-map到file上的数
据。懂C的人说说吧。
【在 w***n 的大作中提到】
: 如果简单都和同一个template排序肯定是用不了，现在是要200k条序列两两排序，还有
: 些其他的计算操作，量还是很大的
|
t*****n
发帖数: 4908 | 82 代码开源吗？ 可以的话我可以看看。
估计99%的可能性是性能问题。优化一下应该有所改观。
【在 g**t 的大作中提到】
: 我不是码农，但依你所说的，我建议你看看能否用mmap取代某些malloc类的function，
: 直接memory-map到file上的数
: 据。懂C的人说说吧。
|
l****g
发帖数: 1922 | 83 看来lz只能用amazon的ec2了，
虽然比较贵，但是估计你算的时间也不长吧？
amazon 的 ec2，最大内存的有 65GB的内存，
然后价格是 $2.00/hour
你算算跑完你这个要多长时间？ |
w***n
发帖数: 738 | |
p****t
发帖数: 11416 | 85 $2/hr? 那不等于不要钱么？
【在 l****g 的大作中提到】
: 看来lz只能用amazon的ec2了，
: 虽然比较贵，但是估计你算的时间也不长吧？
: amazon 的 ec2，最大内存的有 65GB的内存，
: 然后价格是 $2.00/hour
: 你算算跑完你这个要多长时间？
|
t*****n
发帖数: 4908 | 86 暂缓花钱搞硬件吧。
我跑了一圈valgrind。一个简单的例子，耗掉180M内存，泄露30%。估计稍微大点的例
子就跑不动了。
请wuyun联系作者把。让他们把代码放到github上去。我可以checkin一些修复的代码。
我基本上有些头绪了。
【在 w***n 的大作中提到】
: 谢谢楼上的提供些解决思路，人多就是主意多啊
|
w***n
发帖数: 738 | 87 Thanks
PMed
【在 t*****n 的大作中提到】
: 暂缓花钱搞硬件吧。
: 我跑了一圈valgrind。一个简单的例子，耗掉180M内存，泄露30%。估计稍微大点的例
: 子就跑不动了。
: 请wuyun联系作者把。让他们把代码放到github上去。我可以checkin一些修复的代码。
: 我基本上有些头绪了。
|
