|
j****i
发帖数: 305 | 2 I'm trying to debug my program on my laptop (a Macbook pro with two
processors), since it takes too long to debug on a cluster. But I have no
clue on how to launch the parallel job even for a simple test code. I have
openmpi installed, and I'm using boost.
Here's a sample code:
#include
#include
#include
#include
int main(int argc, char* argv[])
{
boost::mpi::environment env(argc, argv);
boost::mpi::communica |
|
M********g
发帖数: 183 | 3 【 以下文字转载自 Programming 讨论区 】
发信人: MorrisMeng (努力学习，天天向上。。。), 信区: Programming
标 题: MPI I/O 问题
发信站: BBS 未名空间站 (Thu Apr 23 10:52:39 2009), 转信
我是新手，现在用MPI做小程序，每算几千个循环之后要把一个矩阵写到文件里做后续
处理比如画图等等。
我现在的做法是矩阵的数据都传到一个process里，然后用fprintf写到文件里。
我看了看MPI I/O，好像用他写double的数据到文件只能用MPI自己读？
难道只能用sprintf写到字符串里再用MPI I/O并行写文件？
有没有什么好方法可以解决这么问题？ |
|
n***s
发帖数: 1745 | 4 嗯， 不知道有多大比例，我们这里听说是的，反正大学里失火一次50快，
MPI失火一次200块（就是救火车开出他们的门就要收的钱)
就是因为MPI不是大学，不是教育机构，是商业组织
可能各个MPI之间有差异
MPIs
very |
|
x*h
发帖数: 757 | 5 楼主有没有试过send以后立刻delete会不会报错？报什么错误？null pointer？
我隐约记得，mpi的send是发送端把要发送的内容存到内存中即返回。
如果是这样，就是要发送内容的操作（包括new和delete）mpi已经给handle了。
那么理论上讲，isend的内容会被先寄存到一个临时内存中（mpi自动创建？，发送完以
后再由mpi负责delete。
所以我们不用管这个东西的delete？ |
|
M********g
发帖数: 183 | 6 我是新手，现在用MPI做小程序，每算几千个循环之后要把一个矩阵写到文件里做后续
处理比如画图等等。
我现在的做法是矩阵的数据都传到一个process里，然后用fprintf写到文件里。
我看了看MPI I/O，好像用他写double的数据到文件只能用MPI自己读？
难道只能用sprintf写到字符串里再用MPI I/O并行写文件？
有没有什么好方法可以解决这么问题？ |
|
z*w
发帖数: 45 | 7 Intel® MPI Library 4.1 Getting Started Guide for Linux* OS
Quick Start
Source the mpivars.[c]sh script to establish the proper environment settings
for the Intel® MPI Library. It is located in the //
bin directory, where refers to the Intel MPI Library
installation directory (for example, /opt/intel/impi) and is one of
the following architectures:
ia32 - IA-32 architecture binaries
intel64 - Intel® 64 architecture binaries.
Create a hostfile text... 阅读全帖 |
|
o******1
发帖数: 1046 | 8 同样是distributed computing，我觉得mpi library比mapreduce要强大和flexible多
了。
开始以为mpi不支持java，所以大家不得不用mapreduce。最近查了一下，open mpi好像
有java interface和compiler (mpijava)。
能不能在hadoop(java)的程序中import进来open mpi的java interface，然后调用里面
的函数，比如MPI_Scatter, MPI_Send, MPI_Recv之类的函数呢？
谢谢！ |
|
m******n
发帖数: 155 | 9 我写了个MPI的custom error handler，用来在程序出现MPI错误时先把错误信息写到一
个log文件再退出。整个application是C和Fortran混合的，我在C程序部分故意call两次
MPI_Init，果然第二次call的时候我的custom error handler被调用了。但是在FORTRA
N程序里做同样的事情，并没有出现任何错误。我又用default的error handler试了，还
是没错误。是不是Error Handler只是C程序专有的？还是FORTRAN就不care调用两次MPI
_INIT？如果是这样如何产生一个MPI error来test我的error handler呢？ |
|
n***s
发帖数: 1745 | 10 MPI is a commercial organization of Reserach. You should search
for previous post.
The library conditions of MPI is not comparable with that in NUS.
Wait for offer from USA bah, with the postdoc experience in MPI I doubt the
possiblity that you can secure a faculty postion in HK/SG.
Your wife can come with dependant visa, I suppose she cannot work.
T |
|
s****r
发帖数: 710 | 11 【 以下文字转载自 Programming 讨论区 】
发信人: sniper (清风拂山岗), 信区: Programming
标 题: MPI问题求助。Help!
发信站: BBS 未名空间站 (Sun Dec 3 17:40:08 2006)
程序在运行时遇到如下错误：
Error: blocking send or recv on a self communication
Command terminated on signal 9.
我猜问题可能是由于程序中ROOT(MPI_ID=0)与其它ID通讯时没有特殊处理本地通讯而造
成的。也就是说MPI_Isend & MPI_Recv配对工作时，收发双方是同一个MPI_ID。我的理
解正确吗？
奇怪的是，我在不同平台上运行。似乎有的MPI系统不认为这是一个问题，而有的MPI系
统就认为这是错误。请问你们遇到过这样的现象吗？谢谢指教。 |
|
n****1
发帖数: 1136 | 12 争论的焦点在于：
1. 车票问题究竟是不是紧耦合问题.
goodbug假设该问题是可以分割的，所以给出了当前最热门的nosql方案，本质就是
map-reduce. 而究竟如何分割，他没有答案，而是一直闪烁其词。而事实上，分割问题
才是该方案的最难点。至少铁道部那帮人做了这么多年，还是不知道怎么分。goodbug
怎么可以一笔带过
Teacherwei假设该问题无法分割，而必须用紧耦合。
2. In ram database究竟靠不靠谱
我觉得Teacherwei的writing to net其实是cheating, cz ultimately you need
to either a) store in ram in another machine, or b) writing to disk in
another machine.
但我觉得in ram没啥大不了的，没付钱的订单，丢了就丢了。毕竟停电火灾是小概
率事件，而且真没必要没付钱的单在这种情况下负全责。而且这系统比铁道部当前的还
是靠谱多了
其实魏老师的架构是可以扩展到多机并行的，不一定要上I... 阅读全帖 |
|
y**b
发帖数: 10166 | 13 标题说是传递指针，实际上是自动传递指针所指对象。
本来MPI传递这类复杂类型(类，含有类的类，含有指针的类，子类，含有类指针
的容器，等等，及其任意组合)是非常麻烦的，但是利用boost.serialization
和boost.mpi，可以轻松传递任意数据类型。
假设sendVec是个含有指针的容器，指针指向某个复杂的类，则
boostWorld.send(0, mpiTag, sendVec); 把这个容器传往主进程0。
主进程通过boostWorld.recv(n, mpiTag, recvVec);接收这个容器，
并自动通过boost.serialization重新生成容器中指针所指的对象，
接收之后recvVec中的指针可以立即投入使用。
一个小小的陷阱就是，使用完recvVec之后，必须手动释放其所含指针
指向的内存，boost无法给用户做这件事。
本来这件事也很明显，但有时候容易疏忽。我的程序在百万次MPI传输后，
主进程使用的内存超过了512GB，超算上的large-memory节点提示OOM，
但是手动释放内存后发现只需要30GB内存。 |
|
s****r
发帖数: 710 | 14 【 以下文字转载自 Programming 讨论区 】
发信人: sniper (清风拂山岗), 信区: Programming
标 题: MPI问题求助。Help!
发信站: BBS 未名空间站 (Sun Dec 3 17:40:08 2006)
程序在运行时遇到如下错误：
Error: blocking send or recv on a self communication
Command terminated on signal 9.
我猜问题可能是由于程序中ROOT(MPI_ID=0)与其它ID通讯时没有特殊处理本地通讯而造
成的。也就是说MPI_Isend & MPI_Recv配对工作时，收发双方是同一个MPI_ID。我的理
解正确吗？
奇怪的是，我在不同平台上运行。似乎有的MPI系统不认为这是一个问题，而有的MPI系
统就认为这是错误。请问你们遇到过这样的现象吗？谢谢指教。 |
|
s*****l
发帖数: 167 | 15 http://pacont.ncsa.uiuc.edu
But writing mpi programs is still a pain.
One thing that I never know is when to use
mpi_barrier, and when it is not necessary.
anyone know a good forum for mpi?
mpi-forum.org is no good, |
|
s****r
发帖数: 710 | 16 【 以下文字转载自 Programming 讨论区 】
发信人: sniper (清风拂山岗), 信区: Programming
标 题: MPI问题求助。Help!
发信站: BBS 未名空间站 (Sun Dec 3 17:40:08 2006)
程序在运行时遇到如下错误：
Error: blocking send or recv on a self communication
Command terminated on signal 9.
我猜问题可能是由于程序中ROOT(MPI_ID=0)与其它ID通讯时没有特殊处理本地通讯而造
成的。也就是说MPI_Isend & MPI_Recv配对工作时，收发双方是同一个MPI_ID。我的理
解正确吗？
奇怪的是，我在不同平台上运行。似乎有的MPI系统不认为这是一个问题，而有的MPI系
统就认为这是错误。请问你们遇到过这样的现象吗？谢谢指教。 |
|
t****n
发帖数: 4 | 17 我现在要用C调用fortran程序，两者里面均要用到MPI并行程序的语句，但是MPI针对这
2种语言的格式是不一样的，怎样统一呢？我的问题出在：C里面的进程号带不到
FORTRAN中来，因此在FORTRAN程序段不能进行收发。也就是说在C程序段要进行MPI初始
化，那FORTRAN程序段还要初始化吗？如果FORTRAN程序段初始化了，那么C和FORTRAN的
进程号等就会不一样了；如果FORTRAN程序段不初始化，那么根本就不能进行收发的操
作。不知道该怎么解决呢？谢谢！ |
|
o****g
发帖数: 314 | 18 hi,搭车问几个问题:)
前一阵子申请了mpi for complex system的post-doc，committee开过会后前两天回信
说"may offer you a guest scientist position"，因为offer没收到，所以详情还不
清楚
眼下比较关心的是mpi在德国是个怎么样的组织，它的学术地位，声誉和硬件(如图书馆
之类)如何。因为要去的institute里没有找到一个中国人，没有办法打听一下博后之后
的去向问题，我个人的目标是SG/HK的faculty。不知道是不是值得放弃这个offer继续
找美国的机会（本人目前在SG）
此外，还有一个顾虑是LP用什么签证同去，是不是可以找工作（找到找不到另说），
dresden的生活如何？
问题有点多，谢谢了先~ |
|
l******u
发帖数: 936 | 19 why did you say MPI is a commercial organization? Are you sure all the MPIs
are GMBH? As I know, Max Plank Society is an independent German non-profit
research organization funded by the federal and state governments, only very
few insitutes of Max Plank Society are GMBH, commercial organizations.
the |
|
l******u
发帖数: 936 | 20 There are so many insitutes in the Max Plank Society, and their research
levels are vary. MPIs have very good reputation in science and engineering
even in history and law field. If LZ wanna get a faculty posistion in SG/HK,
the name of MPI itself is good enough, but the main point is the quality of
the future supervisor. If LZ can get a postion in a big bull's group, it is
really a good chance. I know many guys did their post-doc in Neher's group
then got tenure track positions in US.
Dresden i |
|
q*****z
发帖数: 191 | 21 【 以下文字转载自 Computation 讨论区 】
发信人: qianboz (口水鸡), 信区: Computation
标 题: 有没有能在单台机子上调试mpi程序的simulator？
发信站: BBS 未名空间站 (Sat Dec 8 18:34:40 2007)
最近在学mpi，但是学校的cluster一会能用一会不能用的，特别麻烦。有没有办法能在
单台机子上simulate cluster的办法？谢谢。 |
|
a****l
发帖数: 8211 | 22 我相信你说的是不可能发生的.因为保证能同时接受到两个消息可以说是最基本的要求,
要是连这都做不到,mpi也不要混了.只可能是一你没用对,二你装的mpi坏了.
p3
。 |
|
w********r
发帖数: 14958 | 23 https://computing.llnl.gov/tutorials/mpi/
Fairness:
MPI does not guarantee fairness - it's up to the programmer to prevent "
operation starvation".
Example: task 0 sends a message to task 2. However, task 1 sends a competing
message that matches task 2's receive. Only one of the sends will complete.
求, |
|
s****r
发帖数: 710 | 24 程序在运行时遇到如下错误：
Error: blocking send or recv on a self communication
Command terminated on signal 9.
我猜问题可能是由于程序中ROOT(MPI_ID=0)与其它ID通讯时没有特殊处理本地通讯而造
成的。也就是说MPI_Isend & MPI_Recv配对工作时，收发双方是同一个MPI_ID。我的理
解正确吗？
奇怪的是，我在不同平台上运行。似乎有的MPI系统不认为这是一个问题，而有的MPI系
统就认为这是错误。请问你们遇到过这样的现象吗？谢谢指教。 |
|
h***i
发帖数: 1970 | 25 我觉得你的理解是对的.问题我没遇到过,你用的什么mpi?
mpich or lam/mpi? |
|
q*****z
发帖数: 191 | 26 【 以下文字转载自 Computation 讨论区 】
发信人: qianboz (口水鸡), 信区: Computation
标 题: 有没有能在单台机子上调试mpi程序的simulator？
发信站: BBS 未名空间站 (Sat Dec 8 18:34:40 2007)
最近在学mpi，但是学校的cluster一会能用一会不能用的，特别麻烦。有没有办法能在
单台机子上simulate cluster的办法？谢谢。 |
|
H***a
发帖数: 735 | 27 就看那套 MPI-The Complete Reference (Vol.1 & 2) by Snir, Otto, Huss-Lederman
, Walker, Dongarra. 这套讲得挺全的，就是手册，我平时也就用到了翻翻。
MPI对c/c++, fortran都通用，上述这套书对于每个函数的介绍都有各个语言的版本，
还有部分fortran代码。有空交流交流。:) |
|
m******n
发帖数: 155 | 28 【 以下文字转载自 Computation 讨论区 】
发信人: mrmaoren (我是毛人毛人是我我是毛人毛人是我), 信区: Computation
标 题: MPI的问题
发信站: BBS 未名空间站 (Wed Apr 16 01:24:33 2008), 站内
用MPI算东西，期间想把进度情况写在一个文件里。但是所有的node一起写，出来的东西
全乱了，还丢了好多。先传到master再写出来是可以，就是又麻烦又影响performance，
又没有什么自动同步写文件的方法？如果是写到stream呢？
谢谢了。 |
|
b**n
发帖数: 289 | 29 Can anyone show me an example of the quickest way of sending/receiving a C++
class object in MPI?
For example, if I define a class in C++
class A{
private:
double a_;
double c_;
char b_;
};
A an_object;
so how do I send/receive this "an_object" in MPI, and what's the quickest
way?
Thanks. |
|
g*****g
发帖数: 34805 | 30 mpi and mapreduce are for different use cases. MR is for ETL, which
typically has bottleneck on IO. MPI is more for computation intensive tasks. |
|
K*****N
发帖数: 117 | 31 i have a 3 nodes (each nodes with 32 processors) machine.
but why if i run the following:
*****************************************************
/* Starts MPI processes ... */
MPI_Init(&argc,&argv); /* starts MPI */
MPI_Comm_rank(MPI_COMM_WORLD, &myid); /* get current process id */
MPI_Comm_size(MPI_COMM_WORLD, &p); /* get number of processes */
*****************************************************
p value is always 1?
how to access all 32 processes?
thanks. |
|
S***y
发帖数: 186 | 32 mpif77, mpif90 ... are just so-called "wrapper" compiler.
They are practically not "real" compilers.
They need to call some background Fortran compilers to
carry out a complete compilation.
So, when installing the MPI, if the mpif77 is linked to
a Fortran90 compiler, such as pgf90 under Linux,
even mpif77 can compiler Fortran 90 programs in which
the MPI subroutines are called. |
|
s*****l
发帖数: 167 | 33 I wrote some mpi-fortran code, and I discovered something funny.
Everytime I take the number of grid points to be some power of 2, the program
runs smoothly, and produces good results. But if I take the number to be
something else, the program will be terminated after running for a while.
Here # of grid points = # of processors \times # of subroutines run on each
processor, and the execution of each subroutine is completely independent, and
the only mpi commands I use are simply mpi_scatter and |
|
t*****o
发帖数: 74 | 34 1。 在FORTRAN下
MPI能不能传输一个COMMON BLOCK的数据， 里面有整数，浮点数， 用什么语句了？
2。 如果几个NODE想对同一个文件同时进行读和写的操作， MPI下能实现吗？
谢谢！ 谢谢！ |
|
r*y
发帖数: 706 | 35 I just begin to learn some MPI. First, I feel that MPI is not the best for what you want to do. I used a codine system , which might be closer to what you want. 2ndly, you have to post yr function, so others can comment on it.
踨ay |
|
j**u
发帖数: 6059 | 36 【 以下文字转载自 Programming 讨论区 】
发信人: BigWhite (25号), 信区: Programming
标 题: MPI question
发信站: BBS 未名空间站 (Sat Mar 10 06:32:57 2007), 转信
my friend is asking me this question, which i haven't touched for years.
the question is:
Recently we have brought one new cluster (HP blade with 16 nodes) which have
gigabit Ethernet and 10G infiniband IB (instead of myrinet), is there a way
or any program for me to verify that I am running the mpi job in gigabit
Ethernet or 10G IB interface. For IB interface it is c |
|
j**u
发帖数: 6059 | 37 【 以下文字转载自 Programming 讨论区 】
发信人: jokeslala (文化盲流), 信区: Programming
标 题: Re: MPI question
发信站: BBS 未名空间站 (Sat Mar 10 07:46:15 2007), 转信
I think you are right.
in PDCC, the libraries for compiling and running mpi-programs over giga
links are different from those for fast ethernet.
have
way
provides |
|
|
k*******n
发帖数: 116 | 39 我的mpi并行程序，用1,2,3,4,8,12,16等节点算都没问题，计算结果也是对的
但是用5,6,9,11,13等节点算就出现Segmentation fault错误
这一般是什么原因？谢谢！
附：错误信息
xxxxx@xxxxx-desktop:~/Courses/mpi$ mpirun -np 9 ./main
[xxxxx-desktop:08056] *** Process received signal ***
[xxxxx-desktop:08056] Signal: Segmentation fault (11)
[xxxxx-desktop:08056] Signal code: (128)
[xxxxx-desktop:08056] Failing at address: (nil)
[xxxxx-desktop:08056] [ 0] /lib/libpthread.so.0 [0x7f74cecc70f0]
[xxxxx-desktop:08056] [ 1] /usr/lib/libopen-pal.so.0(_int_free+0x57) [
0x7f7 |
|
c**********w
发帖数: 1746 | 40 发信人: chairmanmeow (chairmanmeow), 信区: Programming
标 题: 哪位帮忙看一个极为简单的 MPI 程序，感谢拉！
发信站: BBS 未名空间站 (Sat Jul 17 13:59:56 2010, 美东)
这个程序就是想测试一下ISEND和IRECV。启动四个线程，每个把一个数字发到rank+1的
下一个thread上，最后一个rank为3的发回到rank=0的线程，用WAIT_ALL等待，然后把
结果打印出来，已经编译成功，发现四个线程也都启动，但却不能通讯。测试条件为
quad-core， linux, openMP
程序：
program hello
USE mpi
integer rank, size, ierror, status(MPI_STATUS_SIZE)
integer dest,tag, ierr,tag2, req(2), src
REAL*8 res, msg, ans,sout
integer status_array(MPI_STATUS |
|
r********n
发帖数: 132 | 41 一个proposal可以做Co-PI 和MPI的话，选哪个好？谢谢 |
|
|
|
|
x******i
发帖数: 3022 | 45 mpi不属于教育机构，主要原因是不能授予学位。
但是也不属于商业机构。 |
|
b*********a
发帖数: 110 | 46 好吧，那就崇拜一把。其实俺下学期会杀到mpi去，顺便到这个版逛逛看有没熟人 |
|
x******i
发帖数: 3022 | 47
被崇拜很爽啊，呵呵。
哪个mpi啊？
俺马上就杀美国去了。 |
|
m*****r
发帖数: 130 | 48 一台机子上本来就可以跑多个mpi的程序的，不需要任何设置，你看看你的mpirun的
help |
|
c**********w
发帖数: 1746 | 49 这个程序就是想测试一下ISEND和IRECV。启动四个线程，每个把一个数字发到rank+1的
下一个thread上，最后一个rank为3的发回到rank=0的线程，用WAIT_ALL等待，然后把
结果打印出来，已经编译成功，发现四个线程也都启动，但却不能通讯。测试条件为
quad-core， linux, openMP
程序：
program hello
USE mpi
integer rank, size, ierror, status(MPI_STATUS_SIZE)
integer dest,tag, ierr,tag2, req(2), src
REAL*8 res, msg, ans,sout
integer status_array(MPI_STATUS_SIZE,2)
call MPI_INIT(ierror)
call MPI_COMM_SIZE(MPI_COMM_WORLD, size, ierror)
call MPI_COMM_RANK(MPI_CO |
|
m*****7
发帖数: 67 | 50 tag必须一样才能收到
现在只有rank1能收到是因为：tag2初始值是0，
rank0发给rank1的msg tag也是0，
所以碰巧match上了
这个程序就是想测试一下ISEND和IRECV。启动四个线程，每个把一个数字发到rank+1的
下一个thread上，最后一个rank为3的发回到rank=0的线程，用WAIT_ALL等待，然后把
结果打印出来，已经编译成功，发现四个线程也都启动，但却不能通讯。测试条件为
quad-core， linux, openMP
程序：
program hello
USE mpi
integer rank, size, ierror, status(MPI_STATUS_SIZE)
integer dest,tag, ierr,tag2, req(2), src
REAL*8 res, msg, ans,sout
integer status_array(MPI_STATUS_SIZE,2)
call MPI_INIT(ierror)
cal |
|
