Zum Hauptinhalt springen

Spark, Hadoop, Daten-Streaming, Daten-Engineering-Lösungen für KI

Supermicro und Cloudera Lösungen

Die Herausforderung

Durch die sich ständig verändernden Anwendungen entsteht eine enorme Menge an Informationen, die von strukturierten, unstrukturierten bis hin zu halbstrukturierten Daten reichen. Die herkömmliche IT-Infrastruktur ist nicht für die Vielfalt, Geschwindigkeit und Menge der Daten ausgelegt, die von sozialen Netzwerken, mobilen Anwendungen, maschinellen Sensoren und wissenschaftlichen Forschungen usw. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen nicht mehr eine Frage des Wann, sondern des Wie. Spark, Hadoop und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurden, sind für diesen Zweck geboren. Sie kann linear bis zu Tausenden von Servern und Petabytes an Speicherplatz skaliert werden.

Cloudera integriert diese Open-Source-Technologien und bietet Support auf Unternehmensebene, um Kunden dabei zu helfen, Wettbewerbsvorteile aus den großen Datenmengen zu ziehen. Um dies zu erreichen, wird Cloudera in skalierbaren Server-Clustern eingesetzt. Supermicro vereinfacht den Einsatz von Cloudera-Clustern mit zuverlässigen Systemen, die sowohl über In-Band- als auch Out-of-Band-Management verfügen, und bietet eine große Auswahl an Systemplattformen, die in die Rechenzentren der Kunden passen.

Die Lösung und der Vorteil von Supermicro

Supermicro Server-Cluster unterstützen die Cloudera Cloud Data Platform (CDP) mit vereinfachter Bereitstellung.

  • SYSTEMWAHL: Kunden können die beste Hardware-Plattform für den Aufbau von Clustern wählen
    • Hyper zur Rackmontage oder Twin-Server mit mehreren Knoten oder Blade-Server
    • Auswahl an CPU-Architekturen, entweder Intel- oder AMD
    • Auswahl an GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Festplatten von HDD über SSD bis hin zu NVMe-Laufwerken
    • Auswahl an Netzwerkarchitekturen, 10GbE bis 400 GbE Optionen
    • Alle werden über dieselben IPMI-/Redfish-Schnittstellen verwaltet und können über den einseitigen Supermicro Cloud Composer zusammengefasst werden.
    • Viele der Einsätze können mit Supermicro Super Cloud Orchestrator automatisiert werden.
  • AUSWAHL DER IMPLEMENTIERUNG: Kunden können entweder eine Bare-Metal-Implementierung, Red Hat OpenShift, Kubernetes oder eine Implementierung auf einer virtuellen Maschine nutzen.
  • SKALIERBARKEIT: Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG: Supermicro kann den Cluster aufbauen, vollständig getestet mit garantierter Aufbauqualität und Lieferplan. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von Supermicro Cloud Orchestrator bereitgestellt werden

Beispiel eines vollständig integrierten Cloudera CDP-Clusters

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, die für Kapazität, Rechenleistung oder IO-Leistung optimiert sind
  • Wahl zwischen Intel Xeon Scalable oder AMD EPYC CPUs - es wird empfohlen, die gleiche CPU-Architektur für den gesamten Cluster zu verwenden
  • Hohe Verfügbarkeit Name Node Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere In-Memory-Berechnungen mit geringer Latenz entwickelt wurden
  • Hyper für extrem große Bereitstellungen
  • Hohe Dichte bei Rechen-, Speicher- und Arbeitsspeicherdesign für beste Effizienz und niedrigste TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebung
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die für jede Rechenzentrumsumgebung geeignet sind
  • Effizienz bis zum Titanium Level (96%+) - Redundante Stromversorgungen mit PMBus
  • Integriert mit IPMI und SMC OOB (out of band management) Suite für automatisiertes Cluster-Management
  • Vollständig integriert, vollständig konfiguriert und vollständig getestet mit Hadoop-Distributionen Ihrer Wahl
  • Proof-of-Concept-Testcluster für risikofreie Kauferfahrung verfügbar
  • Cloudera Enterprise Unterstützung, lizenziert von Cloudera
Supermicro voll integrierte Hadoop-Cluster-Lösung Rack
  • 1 oder 2x 48 Anschlüsse 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2x 32 Port 100GbE, 1x 48 Port Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Scalable oder AMD EPYC CPUs
  • 3x Namensknoten 1U DP Intel Xeon Scalable oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Scalable oder AMD EPYC CPUs
  • Standard 42U-Rack mit gemessenen PDUs, Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst das vollständige Einbrennen und Testen des Clusters, BIOS- und FW-Aktualisierung, Netzwerkkonfiguration, Vorinstallation der Cloudera CDP-Distribution Ihrer Wahl und das vollständige Clustern
Supermicro

Supermicro für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC oder

GrandTwin®-Server mit mehreren Knoten

OR

Supermicro für VMware-Einsatz oder Verwendung von GPUs

Hyper