Spark, Hadoop, flux de données, solutions d'ingénierie des données pour l'IA

Supermicro et Cloudera Solutions

Le défi

L'évolution constante des applications génère une quantité phénoménale d'informations, qu'il s'agisse de données structurées, non structurées ou semi-structurées. L'infrastructure informatique traditionnelle n'est pas conçue pour gérer la variété, la vitesse et le volume des données produites par les réseaux sociaux, les applications mobiles, les capteurs et la recherche scientifique, etc. Pour les entreprises, l'utilisation du Big Data n'est plus une question de « quand », mais de « comment ». Spark, Hadoop et d'autres logiciels libres, conçus pour le stockage et le traitement économiques de grands volumes de données, répondent parfaitement à ce besoin. Leur capacité de mise à l'échelle est linéaire et peut atteindre des milliers de serveurs et des pétaoctets de stockage.

Cloudera intègre ces technologies open source et fournit un support de niveau entreprise pour aider ses clients à tirer profit de leurs volumes importants de données et ainsi obtenir un avantage concurrentiel. Pour ce faire, Cloudera est déployé sur des clusters de serveurs évolutifs. Supermicro simplifie le déploiement des clusters Cloudera grâce à des systèmes fiables dotés d'une gestion intégrée et hors bande, et en offrant un large choix de plateformes système adaptées aux centres de données des clients.

La solution et Supermicro Avantage

Supermicro Les clusters de serveurs prennent en charge la plateforme de données cloud Cloudera (CDP) avec un déploiement simplifié.

CHOIX DU SYSTÈMELes clients peuvent choisir la meilleure plateforme matérielle pour construire des clusters.
- Montage en rack CloudDC / Hyper systèmes ou serveurs jumeaux multi-nœuds, ou serveurs lames
- Choix de l'architecture du processeur : Intel ou AMD Processeurs d'entreprise
- Choix d'accélérateurs GPU pour des applications telles que l'accélération Spark
- Choix de disques parmi HDD à SSD à NVMe lecteurs
- Choix d'architectures réseau, options de 10 GbE à 400 GbE
- Tous gérés par le même IPMI / Redfish interfaces, et peuvent être agrégées par le panneau unique Supermicro Compositeur de cloud
- Une grande partie du déploiement peut être automatisée grâce à Supermicro Super Cloud Orchestrator
CHOIX DE MISE EN ŒUVRE : Les clients peuvent déployer soit sur une infrastructure bare metal, soit sur une infrastructure bare metal. Red Hat OpenShift , Kubernetes ou implémentations de machines virtuelles
ÉVOLUTIVITÉ : Les clients peuvent commencer avec le plus petit cluster et évoluer en ajoutant des serveurs.
AUTOMATISATION : Supermicro peut construire le cluster, entièrement testé avec une qualité de construction garantie et un calendrier de livraison respecté. L'implémentation logicielle peut être déployée à l'aide des fonctionnalités d'automatisation de Supermicro Orchestrateur de cloud

Exemple de cluster Cloudera CDP entièrement intégré

Principales caractéristiques et avantages :

Configurations de clusters conçues sur mesure et optimisées pour la capacité, le calcul ou les performances d'E/S
Choix d'Intel Xeon Évolutif ou AMD EPYC Processeurs - il est recommandé d'utiliser la même architecture de processeur pour l'ensemble du cluster
Conception de nœud de noms à haute disponibilité sans point de défaillance unique
Options de mémoire étendue conçues spécifiquement pour Spark et autres calculs en mémoire à faible latence
Hyper - Plateformes serveur évolutives conçues pour des déploiements de très grande envergure
Conception de calcul, de stockage et de mémoire haute densité pour une efficacité optimale et une consommation minimale TCO
Options de commutateurs réseau flexibles avec 1 ou 2 commutateurs 10G / 25G / 100G ou plus rapides par rack.
Conception de rack 14U économique, idéale pour les environnements de test de validation de concept.
Conception standard de rack 42U et options d'unités de distribution d'alimentation (PDU) flexibles adaptées à tous les environnements de centres de données.
Jusqu'à un niveau d'efficacité de titane (96 % et plus) - Alimentations redondantes avec PMBus
Intégrant la suite IPMI et SMC OOB (gestion hors bande) pour la gestion automatisée des clusters
Entièrement intégré, configuré et testé avec les distributions Hadoop de votre choix.
Cluster de test de validation de concept disponible pour une expérience d'achat sans risque
Support Cloudera Enterprise, sous licence de Cloudera

Supermicro rack de solution de cluster Hadoop entièrement intégré

1 ou 2 ports 48 SFP+ 10G / 10GBase-T / 25GbE
1 ou 2 commutateurs 32 ports 100 GbE, 1 commutateur 48 ports, GbE
1 nœud de gestion 1U Intel Xeon Évolutif ou AMD EPYC Processeurs
3x Name Nodes 1U DP Intel Xeon Évolutif ou AMD EPYC Processeurs
Nœuds de données optimisés 2U SSG, 2U BigTwin ou 4U FatTwin® avec Intel Xeon Évolutif ou AMD EPYC Processeurs
Baie standard 42U avec PDU mesurés, options de personnalisation disponibles
Le service d'intégration comprend le rodage et les tests complets du cluster, la mise à jour du BIOS et du firmware, la configuration réseau, la préinstallation de la distribution Cloudera CDP de votre choix et le cluster complet.