Opensource Spark, Data Streaming, Solutions d'ingénierie de données pour l'IA

Solutions Supermicro utilisant l'Open Source

Le défi

Les applications en constante évolution génèrent une énorme quantité d'informations, qu'il s'agisse de données structurées, non structurées ou semi-structurées. L'infrastructure informatique conventionnelle n'est pas conçue pour gérer la variété, la vitesse et le volume des données produites par les réseaux de médias sociaux, les applications mobiles, les capteurs de machines et les recherches scientifiques, etc. Pour les entreprises, l'utilisation de l'analyse des big data n'est plus une question de temps, c'est une question de méthode. Spark et d'autres logiciels libres, conçus pour le stockage et le traitement rentables de grands volumes de données, sont nés dans ce but. Ils peuvent évoluer linéairement jusqu'à des milliers de serveurs et des pétaoctets de stockage.

Pour les fournisseurs de services et les clients avertis en matière d'opensource, capables de gérer et de maintenir l'implémentation opensource de Spark et les logiciels associés de streaming et d'ingénierie de données, Supermicro simplifie le déploiement de clusters Kubernetes grâce à des systèmes fiables dotés d'une gestion in-band et out-of-band, et en offrant un large choix de plateformes système adaptées aux centres de données des clients.

La solution et l'avantage Supermicro

Les clusters de serveurs Supermicro prennent en charge l'open source avec un déploiement Kubernetes simplifié.

CHOIX DU SYSTÈME: Les clients peuvent choisir la meilleure plate-forme matérielle pour construire des clusters.
- Systèmes Hyper montés en rack ou serveurs Twin à plusieurs nœuds, ou serveurs Blade
- Choix entre les architectures de processeurs Intel ou AMD
- Choix d'accélérateurs GPU pour des applications telles que l'accélération Spark
- Choix de disques : disques durs, SSD NVMe
- Choix d'architectures de réseau, options de 10GbE à 400 GbE
- Tous gérés par les mêmes interfaces IPMI / Redfish, et peuvent être agrégés par la console unique Supermicro Cloud Composer.
- De nombreux déploiements peuvent être automatisés à l'aide de Supermicro Super Cloud Orchestrator
CHOIX DE MISE EN ŒUVRE: les clients peuvent déployer sur une mise en œuvre bare-metal, Red Hat OpenShift, Kubernetes, ou sur des mises en œuvre de machines virtuelles.
ÉVOLUTION: les clients peuvent commencer avec le plus petit cluster et évoluer en ajoutant des serveurs.
AUTOMATISATION : Supermicro peut construire le cluster, entièrement testé avec une qualité de fabrication et un calendrier de livraison garantis. L'implémentation logicielle peut être déployée en utilisant les fonctionnalités d'automatisation de Supermicro Cloud Orchestrator.

Exemple de cluster open-source entièrement intégré avec Kubernetes

Principales caractéristiques et avantages :

Configurations de clusters spécifiques optimisées pour la capacité, le calcul ou la performance IO
Prendre en charge Kubernetes, OpenShift et d'autres implémentations de Kubernetes.
Choix entreEPYC Intel Xeon ou AMD EPYC – il est recommandé d'utiliser la même architecture de processeur pour l'ensemble du cluster
Conception de nœuds de nom à haute disponibilité, sans point de défaillance unique
Grandes options de mémoire conçues spécifiquement pour Spark et d'autres calculs en mémoire et à faible latence
Plateformes de serveurs Hyper conçues pour les déploiements de très grande envergure
Une conception à haute densité en matière de calcul, de stockage et de mémoire pour garantir une efficacité optimale et TCO réduit
Options de commutation réseau flexibles avec 1 ou 2 commutateurs 10G / 25G / 100G ou plus rapides par rack.
Conception rentable en rack 14U, idéale pour un environnement de test de validation du concept
Conception de rack standard 42U et options PDU flexibles pour répondre à tous les environnements de centres de données
Efficacité jusqu'au niveau Titanium (96%+) - Alimentations redondantes avec PMBus
Intégrée avec IPMI et la suite SMC OOB (out of band management) pour une gestion automatisée des clusters.
Entièrement intégré, entièrement configuré et entièrement testé avec les distributions Hadoop de votre choix
La grappe d'essai de la preuve de concept est disponible pour une expérience d'achat sans risque.
Le client fournit l'image du système du logiciel libre, le client s'auto-assiste.

Rack de solution de cluster Hadoop entièrement intégré Supermicro

1 ou 2x 48 ports 10G SFP+ / 10GBase-T / 25GbE
1 ou 2x 32 ports 100GbE, 1x 48 ports Switch, GbE
1 nœud de gestion 1U équipé deEPYC Intel Xeon ou AMD EPYC
3 nœuds de nom équipés deEPYC Intel Xeon ou AMD EPYC en format 1U
Nœuds de données optimisés 2U SSG, 2U BigTwin ou 4U FatTwin® EPYC Intel Xeon ou AMD EPYC
Rack standard 42U avec PDU mesurées, options de personnalisation du rack disponibles
Le service d'intégration comprend le burn-in et le test complet du cluster, la mise à jour du BIOS et du FW, la configuration du réseau, l'image open-source fournie par le client.