Zum Hauptinhalt springen

Spark, Hadoop, Daten-Streaming, Daten-Engineering-Lösungen für KI

Supermicro Cloudera-Lösungen

Die Herausforderung

Durch die sich ständig verändernden Anwendungen entsteht eine enorme Menge an Informationen, die von strukturierten, unstrukturierten bis hin zu halbstrukturierten Daten reichen. Die herkömmliche IT-Infrastruktur ist nicht für die Vielfalt, Geschwindigkeit und Menge der Daten ausgelegt, die von sozialen Netzwerken, mobilen Anwendungen, maschinellen Sensoren und wissenschaftlichen Forschungen usw. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen nicht mehr eine Frage des Wann, sondern des Wie. Spark, Hadoop und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurden, sind für diesen Zweck geboren. Sie kann linear bis zu Tausenden von Servern und Petabytes an Speicherplatz skaliert werden.

Cloudera integrates these open-source technologies and provides enterprise level support to help customers gain competitive edge from the large amount of data. To do so, Cloudera is deployed in scalable server clusters. Supermicro simplifies Cloudera cluster deployment with reliable systems that have both in-band and out-of-band management and by offering a wide choice of system platforms that fit into customers data centers.

Die Lösung und Supermicro

Supermicro server clusters support Cloudera Cloud Data Platform (CDP) with simplified deployment.

  • SYSTEMWAHL: Kunden können die beste Hardware-Plattform für den Aufbau von Clustern wählen
    • Hyper zur Rackmontage oder Twin-Server mit mehreren Knoten oder Blade-Server
    • Auswahl an CPU-Architekturen, entweder Intel- oder AMD
    • Auswahl an GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Festplatten von HDD über SSD bis hin zu NVMe-Laufwerken
    • Auswahl an Netzwerkarchitekturen, 10GbE bis 400 GbE Optionen
    • Alle werden über dieselben IPMI-/Redfish-Schnittstellen verwaltet und können über den Supermicro Composer in einer einzigen Ansicht zusammengefasst werden.
    • Viele der Bereitstellungen können mit Supermicro Cloud Orchestrator automatisiert werden.
  • AUSWAHL DER IMPLEMENTIERUNG: Kunden können entweder eine Bare-Metal-Implementierung, Red Hat OpenShift, Kubernetes oder eine Implementierung auf einer virtuellen Maschine nutzen.
  • SKALIERBARKEIT: Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG: Supermicro den Cluster aufbauen, vollständig testen und garantiert die Bauqualität und den Liefertermin. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von Supermicro Orchestrator bereitgestellt werden.

Beispiel eines vollständig integrierten Cloudera CDP-Clusters

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, die für Kapazität, Rechenleistung oder IO-Leistung optimiert sind
  • Wahl zwischen Intel Xeon Scalable oder AMD EPYC CPUs - es wird empfohlen, die gleiche CPU-Architektur für den gesamten Cluster zu verwenden
  • Hohe Verfügbarkeit Name Node Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere In-Memory-Berechnungen mit geringer Latenz entwickelt wurden
  • Hyper für extrem große Bereitstellungen
  • Hohe Dichte bei Rechen-, Speicher- und Arbeitsspeicherdesign für beste Effizienz und niedrigste TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebung
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die für jede Rechenzentrumsumgebung geeignet sind
  • Effizienz bis zum Titanium Level (96%+) - Redundante Stromversorgungen mit PMBus
  • Integriert mit IPMI und SMC OOB (out of band management) Suite für automatisiertes Cluster-Management
  • Vollständig integriert, vollständig konfiguriert und vollständig getestet mit Hadoop-Distributionen Ihrer Wahl
  • Proof-of-Concept-Testcluster für risikofreie Kauferfahrung verfügbar
  • Cloudera Enterprise Unterstützung, lizenziert von Cloudera
Supermicro integriertes Hadoop-Cluster-Lösungsrack Supermicro
  • 1 oder 2x 48 Anschlüsse 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2x 32 Port 100GbE, 1x 48 Port Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Scalable oder AMD EPYC CPUs
  • 3x Namensknoten 1U DP Intel Xeon Scalable oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Scalable oder AMD EPYC CPUs
  • Standard 42U-Rack mit gemessenen PDUs, Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst das vollständige Einbrennen und Testen des Clusters, BIOS- und FW-Aktualisierung, Netzwerkkonfiguration, Vorinstallation der Cloudera CDP-Distribution Ihrer Wahl und das vollständige Clustern
Supermicro

Supermicro für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC oder

GrandTwin®-Server mit mehreren Knoten

OR

Supermicro für VMware-Bereitstellung oder Verwendung von GPUs

Hyper