QLogic OFED+ Host Software User Guide, Rev. B
QLogic OFED+ Host Software User Guide, Rev. B
QLogic OFED+ Host Software User Guide, Rev. B
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>QLogic</strong> <strong>OFED+</strong> <strong>Host</strong> <strong>Software</strong> <strong>User</strong> <strong>Guide</strong><br />
<strong>QLogic</strong> <strong>OFED+</strong> Version 1.5<br />
Copy Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-3<br />
Create the mpihosts File. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-3<br />
Compile and Run an Example C Program . . . . . . . . . . . . . . . . . . . . . 4-4<br />
Examples Using Other Programming Languages . . . . . . . . . . . . . . . . 4-5<br />
<strong>QLogic</strong> MPI Details. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-6<br />
Use Wrapper Scripts for Compiling and Linking . . . . . . . . . . . . . . . . . 4-7<br />
Configuring MPI Programs for <strong>QLogic</strong> MPI . . . . . . . . . . . . . . . . . . . . . 4-8<br />
To Use Another Compiler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-9<br />
Compiler and Linker Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 4-10<br />
Process Allocation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-11<br />
TrueScale Hardware Contexts on the DDR and QDR<br />
InfiniBand Adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-12<br />
Enabling and Disabling <strong>Software</strong> Context Sharing . . . . . . . . . . . 4-13<br />
Restricting TrueScale Hardware Contexts<br />
in a Batch Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-13<br />
Context Sharing Error Messages . . . . . . . . . . . . . . . . . . . . . . . . 4-14<br />
Running in Shared Memory Mode . . . . . . . . . . . . . . . . . . . . . . . 4-14<br />
mpihosts File Details. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-15<br />
Using mpirun . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-16<br />
Console I/O in MPI Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-18<br />
Environment for Node Programs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-19<br />
Environment Variables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-20<br />
Running Multiple Versions of TrueScale or MPI . . . . . . . . . . . . . . . . . 4-22<br />
Job Blocking in Case of Temporary InfiniBand Link Failures. . . . . . . . 4-23<br />
Performance Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-23<br />
CPU Affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-23<br />
mpirun Tunable Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-24<br />
MPD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-24<br />
MPD Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-24<br />
Using MPD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-25<br />
<strong>QLogic</strong> MPI and Hybrid MPI/OpenMP Applications . . . . . . . . . . . . . . . . . . . 4-25<br />
Debugging MPI Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-26<br />
MPI Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-26<br />
Using Debuggers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-27<br />
<strong>QLogic</strong> MPI Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-28<br />
5 Using Other MPIs<br />
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-1<br />
Installed Layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-2<br />
Open MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-3<br />
D000046-005 v