BeeGFS

BeeGFS ist ein hardwareunabhängiges POSIX-Parallel-Dateisystem (auch bekannt als Software-defined Parallel Storage), das mit einem starken Fokus auf Leistung entwickelt wurde und auf Benutzerfreundlichkeit, einfache Installation und Verwaltung ausgelegt ist. BeeGFS wird auf Basis eines Available-Source-Entwicklungsmodells erstellt (der Quellcode ist öffentlich zugänglich) und bietet eine selbstunterstützte Community Edition und eine vollständig unterstützte Enterprise Edition mit zusätzlichen Features und Funktionalitäten. BeeGFS ist für alle leistungsorientierten Umgebungen konzipiert, einschließlich HPC, KI und Deep Learning, Life Sciences und Öl & Gas (um nur einige zu nennen).

BeeGFS arbeitet mit leichtgewichtigen, hochperformanten Service-Daemon(s) im Userspace über das Arbitrated Filesystem, wie ext4, xfs, zfs, Hadoop. Dies ermöglicht es den Benutzern, maximale Bandbreiten und die höhere Leistung des Hardware-Bereichs freizugeben und den Anwendungen die Geschwindigkeit der Netzwerkleitungen zu liefern. Die nativen BeeGFS-Client- und -Server-Komponenten sind für Linux auf x86, x86_64, AMD, ARM & OpenPower oder jede andere CPU-Architektur verfügbar.

Das einzigartige Userspace-Architekturkonzept von BeeGFS ermöglicht es, die Latenz beim Zugriff auf die Metadaten (z. B. bei Verzeichnissuchvorgängen) auf ein Minimum zu reduzieren und verteilt die Metadaten auf mehrere Server, so dass jeder der Metadatenserver einen Teil des globalen Dateisystem-Namensraums speichert.

Durch die Erhöhung der Anzahl von Servern und Festplatten im System ist es möglich, die Leistung und Kapazität des Dateisystems auf das von Ihnen benötigte Niveau zu skalieren, und zwar nahtlos von kleinen Clustern bis hin zu Systemen der Enterprise-Klasse mit Tausenden von Knoten.

BeeGFS verteilt die Benutzerdaten transparent über mehrere Server. Indem Sie die Anzahl der Server und Festplatten im System erhöhen,können Sie die Leistung und Kapazität des Dateisystems einfach auf das von Ihnen benötigte Niveau skalieren, nahtlos von kleinen Clustern bis hin zu Systemen der Enterprise-Klasse mit Tausenden von Knoten.

Verteilte Dateiinhalte und Metadaten

Einer der grundlegendsten Vorteile von BeeGFS ist die strikte Vermeidung von architektonischen Engpässen oder Locking-Situationen im Cluster, durch die User-Space-Architektur. Dieses Konzept ermöglicht eine unterbrechungsfreie und lineare Skalierung auf der Metadaten- & der Speicherebene.

HPC-Technologien

BeeGFS basiert auf hocheffizienten und skalierbaren Multithreading-Kernkomponenten mit nativer RDMA-Unterstützung. Dateisystemknoten können RDMA- (InfiniBand, (Omni-Path), RoCE- und TCP/IP-) Netzwerkverbindungen gleichzeitig bedienen und automatisch auf einen redundanten Verbindungspfad umschalten, falls einer davon ausfällt.

Einfach zu benutzen

BeeGFS benötigt keine Kernel-Patches (der Client ist ein patchloses Kernel-Modul, die Server-Komponenten sind User-Space-Daemons), es wird mit grafischen Grafana-Dashboards geliefert und erlaubt es, bei Bedarf weitere Clients und Server zu einem produktiven System hinzuzufügen.

Client und Server auf jeder Maschine

Für den Betrieb von BeeGFS ist keine bestimmte Enterprise-Linux-Distribution oder eine andere spezielle Umgebung erforderlich. Es nutzt vorhandene Partitionen, die mit einem der Standard-Linux-Dateisysteme formatiert sind, z. B. XFS, ext4 oder ZFS, was verschiedene Anwendungsfälle ermöglicht.

Optimiert für hochkonkurrierenden Zugriff

Einfache Remote-Dateisysteme wie NFS haben nicht nur schwerwiegende Leistungsprobleme bei hochkonkurrierenden Zugriffen, sie können sogar Daten beschädigen, wenn mehrere Clients in dieselbe gemeinsame Datei schreiben, was ein typischer Anwendungsfall für Cluster-Anwendungen ist. BeeGFS wurde speziell für solche Anwendungsfälle entwickelt, um optimale Robustheit und Leistung in Situationen mit hohen E/A-Lasten oder Mustern zu bieten.

Robust

Hochverfügbarkeitsdesign für kontinuierlichen Betrieb

SKALIERBARKEIT

Steigern Sie die Leistung und Kapazität des Dateisystems, nahtlos und unterbrechungsfrei

BEDIENUNGSFREUNDLICHKEIT

Einfache Implementierung und Integration in die bestehende Infrastruktur

leistung

Gut ausbalanciert von
kleinen bis großen Dateien

BeeGFS gilt weithin als einfach zu implementierende Alternative zu anderen parallelen Dateisystemen und wird an Tausenden von Standorten rund um den Globus eingesetzt. Es bietet schnellen Zugriff auf Speichersysteme aller Arten und Größen in allen leistungsorientierten Umgebungen, einschließlich, aber nicht beschränkt auf HPC, KI und Deep Learning, Lifesciences sowie Öl und Gas.

Die BeeGFS Userspace-Architektur ist "State of the Art" und ermöglicht es Anwendern, beliebige IO-Profil-Anforderungen ohne Leistungseinschränkungen zu verwalten und bietet die Skalierbarkeit & Flexibilität, die erforderlich ist, um die anspruchsvollsten HPC-, KI- oder geschäftskritischen Anwendungen auszuführen.

Mit BeeGFS können Kunden in skalierbare HPC- und KI-Infrastrukturen investieren, die von kleinen Standorten bis hin zu großen Scale-Out-Umgebungen reichen und die volle Bandbreite ihrer Hardwarekomponenten entlasten. BeeGFS steigert die Produktivität, indem es schnellere Ergebnisse liefert und neue Datenanalysemethoden ermöglicht, ohne dass Workflows oder Anwendungen geändert werden müssen.

BeeOND ist für die Integration mit Cluster-Batch-Systemen konzipiert, um temporäre parallele Dateisysteminstanzen auf Job-Basis auf den internen SSDs / NVMe von Compute-Knoten zu erstellen, die Teil eines Compute-Jobs sind.

Solche BeeOND-Instanzen bieten nicht nur einen sehr schnellen und einfach zu nutzenden temporären Puffer, sondern können auch einen Großteil der I/O-Last für temporäre oder Random-Access-Dateien vom globalen Clusterspeicher fernhalten. Die Steigerung der Leistungsfähigkeit der Client-Knoten durch das Hinzufügen solcher Funktionalität beschleunigt kritische Projekte enorm.

BEEGFS