Infiniband Mellanox IIILx avec OFED 1.5.4.1 sur Scientific Linux 6.2

Dernièrement j’ai acquis des cartes Infiniband Mellanox IILx. J’ai décidé de les installer sur mes machines sur lesquelles étaient installées Debian Squeeze 6.05.

Après moultes galères, j’ai décidé de changer pour Scientific Linux 6.2. Voici les étapes d’installation de la carte:

Il faut d’abord mettre à jour SL6.2 pour récupérer le dernier kernel avec:

yum update

Puis, on définit les paquets que l’on ne mettra pas à jour au risque de briser les dépendances:

echo "exclude=kernel* compat-dapl compat-dapl-devel compat-dapl-devel-static compat-dapl-utils dapl dapl-devel dapl-devel-static dapl-utils ib-bonding ibsim ibutils infiniband-diags infinipath-psm infinipath-psm-devel kernel-ib kernel-ib-devel libcxgb3 libcxgb3-devel libibcm libibcm-devel libibmad libibmad-devel libibmad-static libibumad libibumad-devel libibumad-static libibverbs libibverbs-devel libibverbs-devel-static libibverbs-utils libipathverbs libipathverbs-devel libmlx4 libmlx4-devel libmthca libmthca-devel-static libnes libnes-devel-static librdmacm librdmacm-devel librdmacm-utils libsdp libsdp-devel mpi-selector mpitests_mvapich2_gcc mpitests_mvapich_gcc mpitests_openmpi_gcc mstflint mvapich2_gcc mvapich_gcc ofed-docs ofed-scripts openmpi_gcc opensm opensm-devel opensm-libs opensm-static perftest qperf rds-tools scsi-target-utils sdpnetstat srptools tgt compat-dapl-static dapl-static libmthca-devel-static libmthca-static libmthca" >> /etc/yum.conf

A ce stade, il faut rebooter pour que le nouveau noyau soit pris en compte.

On installe les paquets nécessaires pour la re-compilation:

yum install rpm-build gcc glibc-devel libtool bison flex zlib-devel libstdc++-devel gcc-c++ tcl tcl-devel tk gcc-gfortran libsysfs kernel-devel iperf

On récupère le dernier paquet OFED chez open fabrics:

cd /tmp
wget http://www.openfabrics.org/downloads/OFED/ofed-1.5.4/OFED-1.5.4.1.tgz

On s’attaque à l’installation des drivers:

tar xvzf OFED-1.5.4.1.tgz
cd OFED-1.5.4.1
./install.pl --all --print-available
grep -v debuginfo ofed-all.conf > ofed.conf
./install.pl -c ofed.conf

Et voilà, c’est installé !!

Si l’on veut utiliser IPoIb, l’étape suivante est nécessaire:

cat >> /etc/sysconfig/network-scripts/ifcfg-ib0 <<-END_STARTUP
DEVICE=ib0
BOOTPROTO=none
NETMASK=255.255.255.0
TYPE=Ethernet
#HWADDR=80:00:04:04:fe:80
IPADDR=192.168.15.2
END_STARTUP

Puis rebooter.

L’interface ib0 de notre carte Mellanox aura donc comme adresse IP: 192.168.15.2

Si l’on veut que la deuxième interface ait elle aussi une adresse, il faut créer un deuxième fichier ifcfg-ib1.

Et voilà !!!

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s