Zum Hauptinhalt springen

Open-Source-Spark-, Datenstreaming- und Datenverarbeitungslösungen für KI

Supermicro Lösungen unter Verwendung von Open-Source-Software

Die Herausforderung

Die sich ständig weiterentwickelnden Anwendungen generieren enorme Datenmengen – von strukturierten über unstrukturierte bis hin zu semistrukturierten Daten. Herkömmliche IT-Infrastrukturen sind nicht darauf ausgelegt, die Vielfalt, Geschwindigkeit und das Volumen der Daten zu bewältigen, die von sozialen Netzwerken, mobilen Anwendungen, Maschinensensoren und wissenschaftlichen Studien etc. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen daher nicht mehr eine Frage des Wann, sondern des Wie. Spark und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurden, sind genau für diesen Zweck geschaffen. Sie lassen sich linear auf Tausende von Servern und Petabytes an Speicherplatz skalieren.

Für Serviceanbieter und Open-Source-affine Kunden, die Open-Source-Implementierungen von Spark und zugehöriger Datenstreaming- und Datenverarbeitungssoftware verwalten und warten können, Supermicro vereinfacht die Bereitstellung von Kubernetes-Clustern durch zuverlässige Systeme mit In-Band- und Out-of-Band-Management sowie durch eine breite Auswahl an Systemplattformen, die sich in die Rechenzentren der Kunden integrieren lassen.

Die Lösung und Supermicro Vorteil

Supermicro Servercluster unterstützen Open Source mit vereinfachter Kubernetes-Bereitstellung.

  • SYSTEMAUSWAHLKunden können die beste Hardwareplattform für den Aufbau von Clustern auswählen.
    • Rackmontage CloudDC / Hyper Systeme oder Multi-Node-Twin-Server oder Blade-Server
    • Wahl der CPU-Architekturen, entweder Intel oder AMD Enterprise-CPUs
    • Auswahl von GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Datenträgern von HDD Zu SSD Zu NVMe fahrten
    • Auswahl an Netzwerkarchitekturen, 10-GbE- bis 400-GbE-Optionen
    • Alles wird vom selben IPMI verwaltet / Redfish Schnittstellen und können durch die Einzelansicht aggregiert werden Supermicro Cloud Composer
    • Viele der Bereitstellungsprozesse können automatisiert werden durch Supermicro Super Cloud Orchestrator
  • IMPLEMENTIERUNGSWAHL : Kunden können entweder eine Bare-Metal-Implementierung vornehmen, Red Hat OpenShift , Kubernetes oder Implementierungen virtueller Maschinen
  • SKALIERBARKEIT : Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG : Supermicro Der Cluster kann erstellt werden, vollständig getestet mit garantierter Build-Qualität und termingerechter Lieferung. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von bereitgestellt werden. Supermicro Cloud Orchestrator

Beispiel eines vollständig integrierten Open-Source-Clusters mit Kubernetes

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, optimiert für Kapazität, Rechenleistung oder E/A-Leistung
  • Unterstützung für Kubernetes, OpenShift und andere Kubernetes-Implementierungen
  • Auswahl von Intel Xeon Skalierbar oder AMD EPYC CPUs – es wird empfohlen, für den gesamten Cluster die gleiche CPU-Architektur zu verwenden.
  • Hochverfügbares NameNode-Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere speicherbasierte Berechnungen mit geringer Latenz entwickelt wurden.
  • Hyper -Skalierbare Serverplattformen, die für extrem große Installationen konzipiert sind
  • Hochdichtes Rechen-, Speicher- und Arbeitsspeicherdesign zur Erzielung höchster Effizienz und niedrigster Kosten TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebungen
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die jeder Rechenzentrumsumgebung gerecht werden
  • Bis zu Titan-Niveau (96 %+) Effizienz – Redundante Netzteile mit PMBus
  • Integrierte IPMI- und SMC-OOB-Suite (Out-of-Band-Management) für automatisiertes Clustermanagement
  • Vollständig integriert, vollständig konfiguriert und umfassend mit Hadoop-Distributionen Ihrer Wahl getestet
  • Ein Proof-of-Concept-Testcluster steht für ein risikofreies Kauferlebnis zur Verfügung.
  • Der Kunde stellt ein Systemabbild der Open-Source-Software bereit, der Kunde leistet Selbsthilfe.
Supermicro vollständig integrierte Hadoop-Cluster-Lösung Rack
  • 1 oder 2x 48-Port 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2 x 32-Port-100GbE-Switch, 1 x 48-Port-Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Skalierbar oder AMD EPYC CPUs
  • 3x Name Nodes 1U DP Intel Xeon Skalierbar oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Skalierbar oder AMD EPYC CPUs
  • Standardmäßiges 42U-Rack mit verbrauchsabhängigen Stromverteilungseinheiten (PDUs), Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst einen vollständigen Cluster-Burn-in und -Test, BIOS- und Firmware-Updates, Netzwerkkonfiguration sowie ein vom Kunden bereitgestelltes Open-Source-Image.
Supermicro Server

Supermicro Server für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC -Server oder

Multi-Node GrandTwin® Server

ODER

Supermicro Server für VMware-Bereitstellung oder Verwendung von GPUs

2U Hyper Server