Infiniband

[root@node001-172 OFED-1.5-rc1]# ibnetdiscover

#

# Topology file: generated on Thu Nov  5 14:56:13 2009

#

# Initiated from node 0002c90200291ca4 port 0002c90200291ca5

 

vendid=0x2c9

devid=0x6274

sysimgguid=0x2c90200292cc7

caguid=0x2c90200292cc4

Ca      1 "H-0002c90200292cc4"          # "node002-172 HCA-1"

[1](2c90200292cc5)      "H-0002c90200291ca4"[1] (2c90200291ca5)                 # lid 8 lmc 0 "node001-172 HCA-1" lid 1 4xDDR

 

vendid=0x2c9

devid=0x6274

sysimgguid=0x2c90200291ca7

caguid=0x2c90200291ca4

Ca      1 "H-0002c90200291ca4"          # "node001-172 HCA-1"

[1](2c90200291ca5)      "H-0002c90200292cc4"[1] (2c90200292cc5)                 # lid 1 lmc 0 "node002-172 HCA-1" lid 8 4xDDR

[root@node001-172 OFED-1.5-rc1]#

 

[root@node001-172 OFED-1.5-rc1]# ibportstate -D 8 1

PortInfo:

# Port info: DR path slid 65535; dlid 65535; 8 port 1

LinkState:.......................Active

PhysLinkState:...................LinkUp

LinkWidthSupported:..............1X or 4X

LinkWidthEnabled:................1X or 4X

LinkWidthActive:.................4X

LinkSpeedSupported:..............2.5 Gbps or 5.0 Gbps

LinkSpeedEnabled:................2.5 Gbps or 5.0 Gbps

LinkSpeedActive:.................5.0 Gbps

[root@node001-172 OFED-1.5-rc1]#

 

[root@node002-172 ~]# ibportstate -D 8 1

PortInfo:

# Port info: DR path slid 65535; dlid 65535; 8 port 1

LinkState:.......................Active

PhysLinkState:...................LinkUp

LinkWidthSupported:..............1X or 4X

LinkWidthEnabled:................1X or 4X

LinkWidthActive:.................4X

LinkSpeedSupported:..............2.5 Gbps or 5.0 Gbps

LinkSpeedEnabled:................2.5 Gbps or 5.0 Gbps

LinkSpeedActive:.................5.0 Gbps

[root@node002-172 ~]#

 

 

Open Fabrics Infiniband 

 

Vorbereitung bzw. Prerequisities 

 

Erstmal ziehen wir den OFED Stack aus dem Internet.

[root@m01 src]# wget http://www.openfabrics.org/downloads/OFED/ofed-1.3.1/OFED-1.3.1.tgz

 

Und entapcken das Packet

[root@m01 src]# tar xzvf OFED-1.3.1.tgz

 

Und navigieren in diese Verzeichnis.

 

Folgende Pakete sollte installiert werden, damit man den OFED Stack kompilieren kann.

 

[root@m01 OFED-1.3.1]# yum install kernel-devel.x86_64

[root@m01 OFED-1.3.1]# yum install libtool

[root@m01 OFED-1.3.1]# yum install flex

[root@m01 OFED-1.3.1]# yum install pciutils-devel.x86_64

[root@m01 OFED-1.3.1]# yum install tk.x86_64

[root@m01 OFED-1.3.1]# yum install redhat-rpm-config

[root@m01 OFED-1.3.1]# yum install gcc glib glib-devel glibc glibc-devel zlib-devel 

gcc-gfortran.x86_64 libstdc++-devel libsysfs-devel

 

Installation 

 

Um den Stack zu installieren, brauchen wir jetzt nur noch das install.pl Skript.

 

[root@m01 OFED-1.3.1]#./install.pl

 

Dort auf 2 um Software zu installieren und dann auf 3 um alles zu installieren, hier koennte man natuerlich auch alles Pakete einzeln auswaehlen, aber ich wollte alles haben, damit wir die Pakete spaeter weiternutzen koennen.

 

WICHTIG: Leider sollte man nicht das komplette Paket installieren, yum kommt danach durcheinander und versucht Abhaengigkeiten zu loesen, die

aber nicht Loesbar sind, weil die Pakete von OFED neuer sind, obwohl der Stack in /usr/local liegt, gibt es trotzdem Probleme, man sollte folgende

Konfiguration benutzen, damit funktioniert es:

 

kernel-ib=y

core=y

mthca=y

ipath=y

ipoib=y

sdp=y

srp=y

srpt=y

rds=y

iser=y

kernel-ib-devel=y

ib-bonding=y

ib-bonding-debuginfo=y

libibverbs=y

libibverbs-devel=n

libibverbs-devel-static=n

libibverbs-utils=y

libibverbs-debuginfo=y

libmthca=y

libmthca-devel-static=n

libmthca-debuginfo=y

libmlx4=n

libmlx4-devel-static=n

libmlx4-debuginfo=n

libcxgb3=n

libcxgb3-devel=n

libcxgb3-debuginfo=n

libnes=n

libnes-devel-static=n

libnes-debuginfo=n

libipathverbs=y

libipathverbs-devel=n

libipathverbs-debuginfo=y

libibcm=y

libibcm-devel=n

libibcm-debuginfo=y

libibcommon=y

libibcommon-devel=n

libibcommon-static=n

libibcommon-debuginfo=y

libibumad=y

libibumad-devel=n

libibumad-static=n

libibumad-debuginfo=y

libibmad=y

libibmad-devel=n

libibmad-static=n

libibmad-debuginfo=y

ibsim=y

ibsim-debuginfo=y

librdmacm=y

librdmacm-utils=y

librdmacm-devel=n

librdmacm-debuginfo=y

libsdp=y

libsdp-devel=n

libsdp-debuginfo=y

opensm=y

opensm-libs=y

opensm-devel=n

opensm-debuginfo=y

opensm-static=y

dapl-v1=y

 dapl-v1-devel=n

dapl-v2=y

dapl-devel=n

dapl-devel-static=n

dapl-utils=y

dapl-debuginfo=y

perftest=y

mstflint=y

tvflash=y

qlvnictools=y

sdpnetstat=y

srptools=y

rds-tools=y

ibutils=y

infiniband-diags=y

qperf=y

qperf-debuginfo=y

ofed-docs=y

ofed-scripts=y

mpi-selector=y

mvapich_gcc=y

mvapich2_gcc=y

openmpi_gcc=y

mpitests_mvapich_gcc=y

mpitests_mvapich2_gcc=y

mpitests_openmpi_gcc=y

build32=0

prefix=/usr/local

mvapich2_conf_impl=ofa

mvapich2_conf_romio=1

mvapich2_conf_shared_libs=1

mvapich2_conf_ckpt=0

mvapich2_conf_vcluster=small

mvapich2_conf_dapl_provider=ib0

 

 

 

Das dauert jetzt eine Weile, da der ganze Stack uebersetzt/kompiliert wird.

 

Daraufhin werden wir noch gefragt, ob wir eine IP-Adresse fuer ib0 Konfigurieren wollen. Selected configuration:

 

DEVICE=ib0

IPADDR=192.168.110.252

NETMASK=255.255.255.0

NETWORK=192.168.110.0

BROADCAST=192.168.110.255

ONBOOT=yes

 

Do you want to save the selected configuration? [Y/n]:y

IPoIB interfaces configured successfully

Press any key to continue ...

 

Jetzt aktivieren wir noch den Start von opensmd:

 

[root@m01 OFED-1.3.1]# chkconfig opensmd on

 

Ein entsprechenden Testlauf kann unter Kap. 14.3 MPI Testlaeufe eingesehen werden.