sysGen Cluster Technologie :: Enterprise Storage-Netzwerke - sysGen GmbH - High-end Workstations, Server, Storage, Cluster, Service uvm.

Enterprise Storage-Netzwerke

Dieser Artikel berät, wie Single Points of Failure Probleme in Storage-Netzwerken durch Pfad-Redundanzen zu vermeiden sind. Anhang B befasst sich mit Technologien, welche redundante Storage-Netzwerke ermöglichen, weshalb und wie der Einsatz dieser Technologien von der seriellen Laufwerkstechnik abhängt und beschreibt die Unterschiede zwischen Serial Attached SCSI (SAS) und Serial Attached ATA (SATA)-Laufwerken. Es wird darauf eingegangen, wie redundante Storage-Netzwerke in verschiedenen Unternehmensumgebungen implementiert werden können.

Einführung
Der Einsatz von Dual-Domain-und Dual-Path-Architekturen ermöglicht redundante Zugriffspfade zwischen Servern und Storage-Systemen und reduziert oder eliminiert auf diesem Wege Single Points of Failure in Speichernetzwerken. Es werden serielle Single- und Dual-Port-Festplatten und Dual-Controller sowie Dual-Port-Controller beschrieben, welche Dual-Pfad-Verbindungen zwischen Controllern und Plattenlaufwerken ermöglichen und so ein hohes Maß an Verfügbarkeit bieten.

Dual-Domain SAS-Implementierungen ermöglichen es Ausfälle von Host Bus Adaptern, externen Kabeln, Expander-Ausfälle, Ausfäll e in „Spanned“ Festplatten (JBOD) Umgebungen und Versagen in RAID-Umgebungen (Redundanten Arrays of Independent Disks) ohne Betriebsunterbrechung zu überstehen.

Dual-Path SATA-Implementierungen bieten kostengünstige Lösungen, die Kabel-Ausfälle verkraften, aber nicht die volle Redundanz von Dual-Domain SAS -Lösung abdecken. Dual-Path-Lösungen nutzen eine Single-Domain-Methode zur Erzeugung von Kabelbruch-Toleranzen.

Einer der wichtigsten Unterschiede zwischen Dual-Domain-und Dual-Path-Architekturen ist die Verwendung von SAS- bzw. SATA-Laufwerken. Dual-Port-SAS-Laufwerke können vollständige Pfad-Redundanzen in einer Dual-Domain-Konfiguration liefern. Kunden, die kostengünstigere Lösungen einsetzen wollen, können anstelle dessen Single-Port SATA-Laufwerke in einer Zwei-Wege-Konfiguration einsetzen.

Wichtige Vorteile von Dual-Domain-SAS

Das „INCITS T10 Technical Committee“ definiert eine SCSI-Domain als "Verbindung von zwei oder mehreren SCSI-Geräten und einem Service Delivery Subsystem". Wenn ein Teil der Verbindungen in einer Einzel-Domäne fehlschlägt, gibt es keine sekundäre oder redundante Verbindung zur Aufrechterhaltung der Datenübertragung. Erfahrungsgemäß sind die Ausfallraten in Steckern und Kabeln relativ hoch und am höchsten bei den Festplatten, was mit der Unsicherheit mechanischer Verbindungen und den beweglichen Teilen dieser Komponenten zusammenhängt.

Dual-Domain-SAS schafft eine zusätzliche Domain um Single-Domain Verbindungsfehler zu vermeiden. Die zusätzliche Domain verwendet einen offenen Port auf einem Smart Array-Controller, der Dual-Domain-SAS unterstützt. Der zweite Port auf dem Dual-Domain-fähig Smart Array Controller erzeugt eine eindeutige Kennung und kann seine eigene Domain unterstützen. Um die Vorteile von mehreren Domains nutzen zu können, müssen SCSI-Geräte Dual-Port-fähig sein und mit Zugriffspfaden in beiden Domänen verbunden werden. Diese Anforderung wird von SAS-, aber nicht von SATA-Laufwerken erfüllt.

Dual-Domain-SAS-Lösungen bieten eine höhere Zuverlässigkeit, Performance und Daten-Verfügbarkeit als SATA, während SATA-Lösungen höhere Kapazitäten und geringere Investitionskosten ermöglichen.

Single-SAS-Domäne
In einer Single-SAS-Domäne gibt es viele Arten von Single Point of Failure. Fehlerquellen können von jedem/r Controller, Expander Gerät, JBOD oder Kabel herrühren, siehe hierzu Abbildung 1:

Abbildung 1, Single Domain SAS-Storage Netwerk

HINWEIS:
JBOD ist die Abkürzung für "Just a Bunch of Disks", einer Gruppe von Festplatten, welche sich meistens in einem Gehäuse befinden und als RAID konfiguriert sein können.

Dual-Domain-SAS
Dual-Port-Laufwerke, welche über zwei Controller oder einen Controller mit Dual-Domain-Unterstützung angeschlossen werden, bieten Server-seitige Dual-Path-Redundanz. Abbildung 2 zeigt ein Beispiel für einen Einzel-Controller mit Dual-Domain-Unterstützung. Die dargestellte Dual-Domain-SAS-Konfiguration kann gleichzeitige Single-Port-Ausfälle in einem Dual-Port-, Dual-Domain-fähigen Controller, externen Kabel und Expander ohne Ausfall überstehen.

Abbildung 2, Dual-Domain, SAS-JBOD-Storage network

HINWEIS:
Controller mit Dual-Domain-Unterstützung finden Sie unter http://www.sysgen.de/raid-controller/

Beispiele für redundante Architekturen mit seriellem Storage
Nachfolgend werden einige redundante Storage-Szenarien aufgeführt, welche durch den Einsatz serieller Speicher, Smart Arrays und Cluster-Computing-Technologien ermöglicht werden.

Dual-Domain-SAS
Diese Dual-Domain-SAS-Architektur bietet redundante Pfade für kaskadierte JBODs. Der Einsatz von zwei I/O Modulen für jedes Gehäuse und SAS Dual-Port-Laufwerken, bietet vollständige Redundanz für das Storage-Netzwerk und beseitigt alle Single Point of Failure.

Abbildung 3, Dual-Domain SAS für kaskadierte JBODs

Dual-SAS-Domäne: Server in einem Cluster mit zwei Knoten
Bei dieser Konfiguration, welche auch als Hoch-Verfügbarkeits-Cluster (HA) bekannt ist, muss mindestens ein Server Zugriff auf das Storage-Netzwerk haben. Wie in Abbildung 4 dargestellt, bietet der Cluster-Interconnect Redundanz für den Fall des Versagens eines Host Bus Adapter (HBA) oder bei Kabelbruch. Dual-Domain-SAS erfordert "active / active"-Konfigurationen. Active/Active"-Konfigurationen gestatten beide Controllern die Verarbeitung von I/Os wobei einer der Controller im Stand-by agiert. Es können hier nur SAS-Laufwerke eingesetzt werden.

Abbildung 4, 2-Node Multi-Path HA-Cluster-Konfiguration

sysGen Dual-path mit kaskadierten JBODs
Der Dual-Path Ansatz kann das Auftreten von „Single Point of Failures“ in komplexen Enterprise-Konfigurationen, wie kaskadierten JBODs, verhindern. Die Konfiguration in Abbildung 5unterstützt SAS-und SATA-Laufwerke. In Abbildung 4 wird ein Dual-Port-Controller an beide Enden einer Reihe von kaskadierten JBODs angeschlossen. Jede JBOD verfügt über einen einzigen Expander. Die Konfiguration, die nur die Hälfte der IO-Module und-Expander nutzt (der Rest wird für anderen redundante Storage benötigt, reduziert ebenfalls den Kostenaufwand.

Abbildung 5, Dual-Path Szenario für kaskadierte JBODs

Anhang A: Nomenklatur und Definitionen
Neue Technologien benötigen neue Beschreibungen und Bezeichnungen, das gilt auch für Storage-Netzwerk-Redundanz-und Dual-Domain-SAS-Konfigurationen.

Dual-Path
Dual-redundante Pfade zwischen Initiator- und Target-Ports können in der gleichen oder in verschiedenen SCSI Domänen sein.

Dual-Port
Target-Devices, wie SAS-Festplatten, verfügen in der Regel über zwei Phys oder Ports. Die Platten werdenauch als "Dual-Port" bezeichnet, weil jeder Phy über eine eigene, einzigartige SAS-Adresse verfügt.

JBOD
Das Akronym steht für "Just a Bunch of Disks". JBOD bezieht sich üblicherweise auf eine Gruppe von Festplatten, welche sich im Allgemeinen in einem Gehäuse befinden und nicht als RAID konfiguriert sind.

Multiple SCSI-Domänen
Wenn zwei Ports nicht miteinander kommunizieren können, befinden sie sich in verschiedenen SCSI-Domains.

Port-Identifier
Dies ist ein Wert, mit welchem eine SCSI-Schnittstelle innerhalb einer Domäne referenziert wird. Die SCSI-Port-Kennung ist entweder eine Initiator- oder Ziel-Port-Kennung.

phy
phy ist ein generischer Elektronik-Begriff, der auf eine integrierte elektronische Schaltung oder auf einen Funktionsblock in einer Schaltung verweist, welche Übertragungen zwischen einem reinen digitalen Bereich (on-off)und einer Modulation in der analogen Domäne kodiert oder dekodiert. Ein 'SAS PHY' ist eine Kombination aus der physikalischen Schicht, PHY-Layer und Link Layer-Funktionen. Es sind mindestens zwei PHYs. (eine auf der Initiator-, die andere auf der Target-Seite) erforderlich, um eine SAS - Physikalische Verbindung, wie in Abbildung 6 dargestellt, herzustellen.

Abbildung 6, phys sind erforderlich, um eine SAS Physical-Connection zu komplettieren

SAS-Domäne
Eine SAS-Domäne besteht aus einem oder mehreren SAS- und Expander-Gerät(en) und kann in einer SCSI-Domäne enthalten sein.

SCSI-Domain
Eine SCSI-Domäne enthält ein Service-Delivery-Subsystem und ein oder mehrere SCSI-Gerät(e). Darüber hinaus enthält diese Domäne eine Reihe von SCSI-Initiator- und Target-Ports, welche, wenn sie mit einem Service-Delivery-Subsystem verbunden sind, miteinander kommunizieren können.

SCSI-Initiator
Ein SCSI-Initiator ist der Host-seitige Endpunkt einer SCSI-Session. SCSI-Initiator-Anfragen erzeugen einen Datentransfer von SCSI-Targets. Ein HBA ist ein Beispiel für einen SCSI-Initiator.

SCSI-Initiator-Port
Ein SCSI-Initiator-Port fungiert als Verbindung zwischen Applikations-Client und Service-Delivery-Subsystem, über welche Anfragen und Antworten geroutet werden. In allen Fällen, wenn dieser Begriff verwendet wird, bezieht er sich auf einen Initiator-Port oder SCSI-Target/-Initiator-Port, operierend als SCSI-Initiator-Port.

SCSI-Target-Port
Ein SCSI-Target-Port enthält einen Task-Router. Er fungiert als Verbindung zwischen Device-Server, Task-Manager und Service-Delivery-Subsystem, über die Anfragen und Antworten geroutet werden. Wenn dieser Begriff verwendet, bezieht er sich auf einen SCSI-Target-Port oder ein SCSI-Target-/-Initiator-Port, operierend als SCSI-Target-Port.

Anhang B: Enabling-Technologie
Das Aufkommen von SAS-und SATA-Laufwerken ermöglicht die Einrichtung von Dual-Domain SAS-Technologie. Die Abstimmung von Hardware-und Protokoll ermöglicht die Redundanz und Zuverlässigkeit von Dual-Domain-SAS-Technologie und reduziert die Anzahl möglichen Single-Points-of-Failure innerhalb eines Systems.

SAS-und SATA-Technologie
Die parallele Storage-Technologie ist an Grenzen in Bezug auf Volumen und Geschwindigkeit gestoßen. Die Architektur-bedingten physikalischen Unterschiede zwischen SCSI-und ATA-Laufwerken, führen an die Grenzen der Konnektivität. Die serielle Technologie hat diese Konnektivität-Barrieren aufgehoben (siehe Abbildung 7). Serial Attached SCSI und ATA sind komplementäre Technologien, die auf einer universellen Verbinddung basieren, so dass SAS Anwender auch kostengünstige SATA-Laufwerke in einer SAS-Storage-Umgebung einsetzen können.

Die Anforderungen für die physische Verbindung sind von 68 Drähten pro Kabel für parallele Technologie auf 4 Drähte für serielle reduziert worden. Neben der Reduzierung von Kabel- und Stecker-Größe, reduziert serielle Technik das Auftreten von Übersprechen, Signalbitversatzes und andere Formen von Signalfehlern in parallelen Storage-Netzwerken. Serielle "Stern"-Topologie, aktiviert durch Expander, ist flexibler, leichter zu managen und gilt sowohl für SAS- als auch SATA-Laufwerke.

Abbildung 7, Vergleich serieller/Paralleler Architeturen

Connectors
SATA Laufwerke sind kompatibel zu SAS-Anschlüssen, aber SATA-Anschlüsse sind inkompatibel zu SAS-Laufwerken. Es ist sehr wichtig zu verhindern, dass SAS-Laufwerke eine Verbindung zu einem SATA-Netzwerk eingehen, weil SATA-Laufwerke, ohne die Intervention von Port-Selektoren, „single-ported“ sind und deshalb Dual-Port-Verbindungen von SAS-Laufwerken nicht nutzen können. Blind-Steckverbindungen ermöglichen eine gemeinsame Topologie einschließlich Controller, HBAs, Backplanes sowie SAS-und SATA-Laufwerken. Diese Gemeinsamkeit ermöglicht die Umsetzung von Dual-Domain-SAS-Technologie durch die Bereitstellung eines einheitlichen Standards für alle Speicher-Netzwerk-Pfade.

Backplane
Der gleiche gesicherte Verbindungs-Schutz ist auch auf dem System Backplanes implementiert, so dass auch hier SAS- und SATA-Laufwerke akzeptieren werden.

Devices
Die folgenden Geräte bilden Dual-Domain SAS-Netzwerke. Sie erfüllen auch die Anforderungen für das Schalten und den Datenfluss über die verfügbaren Datenpfade.

Drives und Controller
Für eine Dual-Domain-Konfiguration müssen alle angeschlossenen Geräte, wie Controller, HBAs und Festplatten (SAS) über Dual-Ports verfügen. Bei Einsatz entsprechender Port-Selektoren oder Schalter können auch SATA Festplatten wie Dual-Port-Geräte eingesetzt werden.

Expander
Expander werden eingesetzt, um die Kommunikation zwischen einer großen Anzahl von SAS-Geräten zu erleichtern. Expander enthalten zwei oder mehrere externe Expander-Ports. Jeder Expander verfügt über mindestens einen SAS Management Protocol Target-Port für das Management und kann SAS-Geräte enthalten. Zum Beispiel kann ein Expander über einen Serial-SCSI-Protocol Target-Port Zugriff auf ein Peripheriegerät erhalten. Zum Anschluss eines SAS-Initiator und -Target ist nicht unbedingt ein Expander notwendig, er ermöglicht es aber einem Single-Initiator mit mehreren SAS-und SATA-Targets zu kommunizieren, analog zu einem Ethernet-Hub in einem Netzwerk, welcher den Anschluss mehrerer Systeme über einen einzigen Netzwerk-Port ermöglicht. Expander können als ASIC (Application-Specific Integrated-Circuit)-Komponenten auf Initiator Geräten, wie einem HBA implementiert werden.

Es gibt zwei Expander-Arten, Edge- und Fanout-Expander. Ein Edge-Expander ermöglicht einem SAS-Initiator die Kommunikation mit bis zu 128 SAS-Adressen. An einen Fanout-Expander können bis zu 128 Edge-Expander-Sätze angeschlossen werden. Fanout-Expander sind auch unter dem Begriff Edge-Expander-Geräte-Set bekannt, sie ermöglichen die Adressierung einer großen Anzahl von SAS-Geräten.

Cluster Interconnect.
Ein Rechen-Cluster muss über einen dedizierten Cluster-Interconnect verfügen, mit dem alle Mitglieder des Clusters verbunden sind. Dieser Interconnect dient als privater Kommunikationskanal zwischen Cluster-Mitgliedern und Smart Array Controllern, welche den Datenverkehr auf bestehende Domains steuern.

Der Cluster-Interconnect wird in der Regel für High-Level-Funktionen eingesetzt:

Cluster-Executive-Komponenten
Cluster I/O
Cluster Networking
Zuverlässige Datagramme
Anwendungsspezifischer Daten-Verkehr.

Firmware und Software
Ein Storage-Netzwerk mit redundanten Pfaden muss über Protokolle und Befehlssätze verfügen, die eine Grundlage für die Kommunikation und den Abruf von Informationen über den Zustand eines jeden Übertragungsweges und aller Geräte auf diesem Weg bieten. Zusätzlich müssen die Protokolle und Befehlssätze über die Möglichkeit verfügen, den Datenverkehr durch die Kontrolle von Switches und Steuerungen über "aktive und inaktive" Datenwege zu lenken.

Serial Tunneling Protocol (STP)
STP ermöglicht es SAS-Hosts direkt mit SATA Targets zu kommunizieren (SATA-Geräte, adressierbar in einer SAS-Expander-Topologie). Wenn Daten über einen Expander auf ein über SAS-Backplane angeschlossenes SATA-Laufwerk gesendet werden, wird sofort eine STP-Verbindung geöffnet, damit SATA-Frames, durch die Verbindung zum Laufwerk geschickt werden können. STP arbeitet im Storage-Netzwerk transparent, praktisch ohne Einfluss auf den Systemdurchsatz des Systems.

SPC-3 Ziel Port-Gruppen-Befehle
In Dual-Domain-SAS-Netzen, mit verfügbaren Datenwegen zwischen Initiator- und Target-Geräten, muss ein Befehlssatz existieren, um Switche und Links, die zu diesen Pfaden gehören, in Aktiv-, Inaktiv- oder Standby-Status versetzen zu können.

Eine Target-Port-Gruppe besteht aus einer Anzahl von Target-Ports, die sich immer im gleichen Zustand (zum Beispiel eine Multi-Port-Controller-Karte) befinden.

Eine "logische Unit-Group" besteht aus einem Satz von logischen Einheiten (LUs), deren Target-Port-Gruppen sich immer im gleichen Zustand befinden (zum Beispiel in einem Active-Optimized/Active-Non-Optimized RAID-Controller kann eine Steuerung für einen Satz von LUs und die andere für den Rest der LUs optimiert werden).