FraunhoferFS (FhGFS) Parallel File System

sysGen ist ein führendes Systemhaus im Bereich Supercomputing. Hierzu gehören High Performance Clustersysteme (HPC) mit GPGPU Erweiterungen für höchste Verarbeitungsleistung, massiv parallele Hochleistungsserver und High Availability Cluster (HA) für unternehmenskritische Anwendungen.

Entsprechende Systeme verarbeiten oft riesige Datenmengen, welche häufig bis in den Peta-Bereich gehen:

1 petabyte = 1 048 576 gigabytes !!!

Es liegt klar auf der Hand, dass die Verarbeitung und Haltung derart riesige Datenmengen ganz neue Antworten in Hinblick auf:

• Datendurchsatz
• Skalierbarkeit
• Kapazitätserwerungen ohne Störung des laufenden Betriebs
• starker Support durch den Hersteller mit ausgewiesen starker wirtschaftlicher Basis
• etc

erforderlich macht.Nutzen Sie die Erfahrung eines erfahrenen Systemhauses um gerade in diesem Bereich einen hohen Sicherheitsstandard zu erträglichen Kosten zu erreichen. Wir liefern schlüsselfertige Lösungen für unternehmenskritische Anwendungen, einer der Gründe, weshalb wir das ausgezeichnete FhGFS in unser Angebotsspektrum aufgenommen haaben! Zu unsere wichtigsten Referenzen in diesem Bereich gehört eines der größen deutschen HPC/GPGPU-Cluster mit FhGFS Parallel Filesystem, welches wir schlüsselfertig an die Fakultät für Physik der Universität Bielefeld ausgeliefert haben!

FhGFS Parallel File System

Das Fraunhofer Parallel File System (Abkürzung FhGFS), ist ein paralleles Dateisystem, welches speziell für den Einsatz im Bereich des High Performance Computing optimiert wurde. Es wurde am Fraunhofer Institut für Techno- und Wirtschaftsmathematik (ITWM) entwickelt. FhGFS wird zurzeit in mehreren Supercomputing-Clustern eingesetzt, darunter befinden sich auch Hochleistungsrechner aus der Top-500-Liste, welche die leistungsfähigsten Rechner der Welt aufführt.

Im absoluten Focus der FhGFS-Entwicklung steht Durchsatz für große Datenmengen, welche bis in den Peta-Bereich gehen können. Die hohe Leistungsfähigkeit beruht vorrangig auf der Parallelisierung des Datenzugriffs, welcher die Daten in „Chunks“ aufgeteilt werden Chunks sind Datenblöcke, mit einer fallweise festgelegten Anzahl von Bits oder Bytes, welche als Transporteinheit behandelt werden, ihr Blockaufbau und ihre Blockelemente entsprechen den jeweils eingesetzten Kommunikationsprotokollen. Einzelne Chunks werden unabhängig voneinander, auf mehreren Servern verteilt, gespeichert. Für die Verwaltung der Daten und die Zuordnung entsprechender Chunks zu Dateien werden spezielle Metadatenserver eingesetzt. FhGFS unterstützt die Verteilung der Metadaten auf mehrere Server, was eine extrem gute Skalierbarkeit der Dateizugriffe ermöglicht. Die Vernetzung der einzelnen Server kann durch RDMA über Infiniband oder TCP/IP Verbindungen über Ethernet (IPoIB) realisiert werden.

Die Entwickler legen vorrangig Wert auf Skalierbarkeit, Flexibilität (z.B. Unterstützung mehrerer Netzwerkschnittstellen und dynamischem Failover) und auf eine einfache Nutzbarkeit (z.B. durch die Integration eigener grafischer Hilfsprogramme).

Das Fraunhofer FhGFS zeichnet sich durch folgende Vorteile aus:

• Skalierbarkeit
  • verteiltes Metadaten-Management
  • Internes File-Splitting und -Verteilung
• Flexibilität
  • Hinzufügen von Clients und Servern ohne Downtime
  • Clients und Server können auf dem gleichen Server laufen
  • Ethernet- und native Infiniband-Unterstützung (mit dynamischem Failover)
• Einfache Bedienung
  • Grafische Administrationsoberfläche
  • Automatisierte Cluster-Installation und Einrichtung
  • Live-Nutzungsstatistiken und Zustandsüberwachung
  • Patchless Client-Kernel-Modul (auch kompatibel mit den letzten Vanille-Kernel)
• Der HPC-Gemeinschaft gewidmet
• Vollständige Unterstützung von Fraunhofer
• Kostenlose Nutzung
  
  

Grafische Administration und Monitoring

FhGFS wurde in Hinblick auf eine einfache Administration konzipiert. Die grafische Oberfläche ermöglicht Benutzern, in  einfacher, intuitiver Art und Weise typische Managementaufgaben zu erledigen:

• Cluster-Installation
• Storage Service-Management
• Live-Durchsatz und Systemkontrolle
• File-Browsing
• Striping-Konfiguration

Datenverarbeitung und-speicherung

FhGFS kann Computer-Racks, die mit  Knoten, welche über interne RAID-Arrays verfügen, zu einer leistungsfähigen Datenverarbeitungs-/Speicher-Kombination umgerüstet werden - eine sehr kostengünstige, einfach zu verwaltende Storage-Lösung mit einfacher Verwaltung. Hierdurch entfällt die Notwendigkeit für externe Storage-Ressourcen.

FhGFS wurde aus folgenden Gründen entwickelt:

• Best in Class Client-Durchsatz: 1,6 GB / s mit einem einzigen I/O-Stream auf DDR Infiniband
• Best in Class Metadaten Leistung: Lineare Skalierbarkeit durch Partitionierung des Metadaten-Namespace
• Best in Class Speicher-Durchsatz: FhGFS Servern ermöglichen die flexible Wahl der zugrunde liegenden Filesysteme für einen perfekten Fit mit der gegebene Storage-Hardware

Gemeinsam genutzten Knoten Festplatten-Benchmark

FhGFS wurde in Hinblick auf Flexibilität ausgelegt. Server- und Client-Komponenten können auf den gleichen Servern laufen und es Anwendern ermöglichen parallelen Cluster-Speicher für Jobs „on the fly“ zu erstellen. (Hardware-Konfiguration: 32 Knoten mit Single 40 MB / s Festplatte als Server, 128 Knoten, wie Kunden, gleichzeitigen Ausführen mehrerer I / O).

Support Lizenz (optional)

• Support-Gebühren werden nach der Anzahl der Maschinen, auf denen die Metadaten und / oder Storage-Service basiert.
• Die Gebühr beinhaltet vollen Support und kostenlose Updates.
• Unterstützung Lizenz: 500 € / Jahr / Server

System-Architektur

FhGFS kombiniert mehrere Storage-Server zu einer Netzwerk-Storage-Ressource mit „striped“ Dateiinhalt. Auf diese Weise kann das System die engen Leistungsgrenzen einzelner Server, einzelner Netzwerk-Verbindungen, begrenzter Festplattenanzahl, etc. sprengen. Entsprechende Systeme können die hohen Durchsatz- Anforderungen einer  großen Anzahl von Clients problemlos erfüllen. Auch einzelne Clients können Gewinn aus der aggregierten Leistung aller Storage-Nodes im System schlagen.

Die hohe Leistung wird durch die Trennung von Metadaten und Dateiinhalten ermöglicht. FhGFS Clients haben direkten Zugang zu den Storage-Servern und können mit mehreren Servern gleichzeitig kommunizieren, und ermöglichen es ihren Applikationen wirklich parallel auf die File-Daten zuzugreifen. Um die Latenzzeiten beim Zugriff auf Metadaten  (z.B. Suchen in Verzeichnissen) zu Minimalisieren, ermöglicht FhGFS es auch Metadaten über mehrere Server hinweg zu verteilen. Die Systemarchitektur des FhGFS kann nachstehender Abbildung entnommen werden. Beachten Sie, dass, obwohl alle Rollen in der Abbildung auf verschiedenen Knoten ausgeführt werden, es auch möglich ist, jede Kombination von Client und Server auf derselben Maschine laufen zu lassen.

Neben den drei Basis-Rollen in FhGFS (Clients, Metadaten-Server, Storage-Server) es zwei weitere System-Services gibt, die auch Teil des FhGFS sind: Die erste ist die Management-Daemon, welcher der als zentraler Punkt der System-Konfiguration für Clients und Server dient. Das zweite ist die optionale Administrations- und Monitoring-Service (Admon), welcher ein grafisches Frontend für die Installation und die System-Status-Überwachung bietet.