Zum Hauptinhalt springen

Opensource Spark, Daten-Streaming, Daten-Engineering-Lösungen für KI

Supermicro mit Open Source

Die Herausforderung

Durch die sich ständig verändernden Anwendungen entsteht eine enorme Menge an Informationen, die von strukturierten, unstrukturierten bis hin zu halbstrukturierten Daten reichen. Die herkömmliche IT-Infrastruktur ist nicht für die Vielfalt, Geschwindigkeit und Menge der Daten ausgelegt, die von sozialen Netzwerken, mobilen Anwendungen, maschinellen Sensoren und wissenschaftlichen Forschungen usw. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen nicht mehr eine Frage des Wann, sondern des Wie. Spark und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurde, ist für diesen Zweck wie geschaffen. Sie kann linear bis zu Tausenden von Servern und Petabytes an Speicherplatz skaliert werden.

Für Dienstleister und Open-Source-affine Kunden, die die Open-Source-Implementierung von Spark und der damit verbundenen Daten-Streaming- und Daten-Engineering-Software verwalten und warten können, Supermicro die Bereitstellung von Kubernetes-Clustern mit zuverlässigen Systemen, die sowohl In-Band- als auch Out-of-Band-Management bieten, und durch die Bereitstellung einer großen Auswahl an Systemplattformen, die in die Rechenzentren der Kunden passen.

Die Lösung und Supermicro

Supermicro unterstützen Open Source mit vereinfachter Kubernetes-Bereitstellung.

  • SYSTEMWAHL: Kunden können die beste Hardware-Plattform für den Aufbau von Clustern wählen
    • Hyper zur Rackmontage oder Twin-Server mit mehreren Knoten oder Blade-Server
    • Auswahl an CPU-Architekturen, entweder Intel- oder AMD
    • Auswahl an GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Festplatten von HDD über SSD bis hin zu NVMe-Laufwerken
    • Auswahl an Netzwerkarchitekturen, 10GbE bis 400 GbE Optionen
    • Alle werden über dieselben IPMI-/Redfish-Schnittstellen verwaltet und können über den Supermicro Composer in einer einzigen Ansicht zusammengefasst werden.
    • Viele der Bereitstellungen können mit Supermicro Cloud Orchestrator automatisiert werden.
  • AUSWAHL DER IMPLEMENTIERUNG: Kunden können entweder eine Bare-Metal-Implementierung, Red Hat OpenShift, Kubernetes oder eine Implementierung auf einer virtuellen Maschine nutzen.
  • SKALIERBARKEIT: Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG: Supermicro den Cluster aufbauen, vollständig testen und garantiert die Bauqualität und den Liefertermin. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von Supermicro Orchestrator bereitgestellt werden.

Beispiel für einen vollständig integrierten Open-Source-Cluster mit Kubernetes

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, die für Kapazität, Rechenleistung oder IO-Leistung optimiert sind
  • Unterstützung von Kubernetes, OpenShift und anderen Kubernetes-Implementierungen
  • Wahl zwischen Intel Xeon Scalable oder AMD EPYC CPUs - es wird empfohlen, die gleiche CPU-Architektur für den gesamten Cluster zu verwenden
  • Hohe Verfügbarkeit Name Node Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere In-Memory-Berechnungen mit geringer Latenz entwickelt wurden
  • Hyper für extrem große Bereitstellungen
  • Hohe Dichte bei Rechen-, Speicher- und Arbeitsspeicherdesign für beste Effizienz und niedrigste TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebung
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die für jede Rechenzentrumsumgebung geeignet sind
  • Effizienz bis zum Titanium Level (96%+) - Redundante Stromversorgungen mit PMBus
  • Integriert mit IPMI und SMC OOB (out of band management) Suite für automatisiertes Cluster-Management
  • Vollständig integriert, vollständig konfiguriert und vollständig getestet mit Hadoop-Distributionen Ihrer Wahl
  • Proof-of-Concept-Testcluster für risikofreie Kauferfahrung verfügbar
  • Der Kunde stellt das Systemabbild der Open-Source-Software zur Verfügung, der Kunde unterstützt sich selbst
Supermicro integriertes Hadoop-Cluster-Lösungsrack Supermicro
  • 1 oder 2x 48 Anschlüsse 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2x 32 Port 100GbE, 1x 48 Port Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Scalable oder AMD EPYC CPUs
  • 3x Namensknoten 1U DP Intel Xeon Scalable oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Scalable oder AMD EPYC CPUs
  • Standard 42U-Rack mit gemessenen PDUs, Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst das vollständige Einbrennen und Testen des Clusters, BIOS- und FW-Update, Netzwerkkonfiguration, vom Kunden bereitgestelltes Open-Source-Image
Supermicro

Supermicro für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC oder

GrandTwin®-Server mit mehreren Knoten

OR

Supermicro für VMware-Bereitstellung oder Verwendung von GPUs

Hyper