HPC-Clusternetzwerke

Ein HPC-Cluster kann über die folgenden Netzwerke verfügen:

  • Computation-Network
  • Data-Management-Network
  • Analysis-/Visualization-Network
  • Administration-Management-Network
  • Service-Network
  • Subnetzwerke um zwei oder mehrere Server zu einemausfallsicheren, hochverfügbaren System zu verbinden.

Für diese Netzwerke müssen Netzwerkkreise (IP-Nummern/Netzwerkmasken) definiert werden.

Computation-Network / Rechennetzwerk

In einem HPC-Cluster werden die zu berechnenden Aufgaben in Teilaufgaben zerlegt, welche auf die Compute-Nodes verteilt werden. Dabei ist es notwendig, dass die Teilaufgaben miteinander kommunizieren können, um sich untereinander abzustimmen und Daten auszutauschen, da Teilaufgaben von den Ergebnissen anderer Teilaufgaben abhängig sind. Hierfür wird sehr häufig eine Variante der MPI (Message Passing Interface) Software eingesetzt. Für die Kommunikation wird häufig besonders leistungsfähige Netzwerk-Hardware eingesetzt, welche bezüglich Übertragungsrate und Latenz (wenig Overhead beim Austausch kleiner Messages) weit über den üblichen Ethernet Netzen steht. In vielen Fällen sind hier Infiniband Netzwerke die erste Wahl.

Data-Management-Network / Datennetzwerk zur Anbindung großvolumiger Datenbestände

In einem HPC-Cluster werden häufig große Datenmengen von den Compute Nodes eingelesen, ausgegeben oder untereinander ausgetauscht. Nach der Verarbeitung werden die erzeugten Daten auf speziellen Workstation weiter analysiert und/oder visualisiert. Hierzu werden RAID-Systeme, File-Server oder Cluster-File-Systeme eingesetzt, welche über ein möglichst schnelles Datennetzwerk mit den einzelnen Datenservern, Compute-/Head-/Log-In- Nodes, Auswerte-Workstation, dem Intranet und eventuell auch dem Internet verbunden werden.

Analysis-/Visualization-Network / Auswertungs-Netzwerk

Über dieses Netzwerk werden die einzelnen Auswerte-Workstation untereinander und mit dem Intranet und eventuell auch mit dem Internet verbunden werden.

Administration-Management-Network/ Administrations-Netzwerk

Über dieses Netzwerk werden alle Nodes im Cluster administriert. Hierüber werden Dienste wie SSH zur Verfügung gestellt über die man sich dann auf die Knoten einloggen kann und administrative Tätigkeiten, wie z.B. Installation von Paketen o.Ä., durchführt werden.

Service-Network

Moderne Server verfügen über integrierte Überwachungsrechner (Rechnerkarte im Server, IPMI ), welche über das Service-Netzwerk erreichbar sind. Die „Service-Rechner“ (Management-Karte) arbeiten auch, wenn der Server einen Defekt aufweist oder heruntergefahren wurde, allerdings nur so lange, wie Strom am Server anliegt und der Defekt nicht die interne Stromversorgung durch das Mainboard verhindert. Mit Hilfe der Management-Karte können wichtige Informationen über Stromversorgung, Temperaturen, registrierte Fehler des Servers ausgelesen und die Stromversorgung manipuliert werden. So kann der Server in den Reboot geschickt, oder Strom an- und abgestellt werden. Alle Tätigkeiten können, bei entsprechender Vernetzung, auch remote vom Arbeitsplatz, dem Intranet oder dem Internet ausgeführt werden.