Aller au contenu principal

Spark, Hadoop, Data Streaming, Solutions d'ingénierie des données pour l'IA

Solutions Supermicro et Cloudera

Le défi

Les applications en constante évolution génèrent une énorme quantité d'informations, qu'il s'agisse de données structurées, non structurées ou semi-structurées. L'infrastructure informatique conventionnelle n'est pas conçue pour gérer la variété, la vitesse et le volume des données produites par les réseaux de médias sociaux, les applications mobiles, les capteurs de machines et les recherches scientifiques, etc. Pour les entreprises, l'utilisation de l'analyse des big data n'est plus une question de temps, c'est une question de méthode. Spark, Hadoop et d'autres logiciels libres, conçus pour le stockage et le traitement rentables de grands volumes de données, sont nés dans ce but. Ils peuvent évoluer linéairement jusqu'à des milliers de serveurs et des pétaoctets de stockage.

Cloudera intègre ces technologies open-source et fournit une assistance au niveau de l'entreprise pour aider les clients à obtenir un avantage concurrentiel à partir de la grande quantité de données. Pour ce faire, Cloudera est déployé dans des clusters de serveurs évolutifs. Supermicro simplifie le déploiement des clusters Cloudera grâce à des systèmes fiables dotés d'une gestion en bande et hors bande et en offrant un large choix de plates-formes de systèmes qui s'adaptent aux centres de données des clients.

La solution et l'avantage Supermicro

Les clusters de serveurs Supermicro prennent en charge Cloudera Cloud Data Platform (CDP) avec un déploiement simplifié.

  • CHOIX DU SYSTÈME: Les clients peuvent choisir la meilleure plate-forme matérielle pour construire des clusters.
    • Systèmes Hyper montés en rack ou serveurs Twin à plusieurs nœuds, ou serveurs Blade
    • Choix d'architectures de CPU, soit des CPU d'entreprise Intel ou AMD
    • Choix d'accélérateurs GPU pour des applications telles que l'accélération Spark
    • Choix de disques, du HDD au SSD en passant par les disques NVMe
    • Choix d'architectures de réseau, options de 10GbE à 400 GbE
    • Tous sont gérés par les mêmes interfaces IPMI / Redfish, et peuvent être agrégés par le Supermicro Cloud Composer à volet unique.
    • De nombreux déploiements peuvent être automatisés à l'aide de Supermicro Super Cloud Orchestrator.
  • CHOIX DE MISE EN ŒUVRE: les clients peuvent déployer sur une mise en œuvre bare-metal, Red Hat OpenShift, Kubernetes, ou sur des mises en œuvre de machines virtuelles.
  • ÉVOLUTION: les clients peuvent commencer avec le plus petit cluster et évoluer en ajoutant des serveurs.
  • AUTOMATION: Supermicro peut construire le cluster, entièrement testé avec une qualité de construction garantie et un calendrier de livraison. La mise en œuvre du logiciel peut être déployée à l'aide des fonctions d'automatisation de Supermicro Cloud Orchestrator.

Exemple de cluster Cloudera CDP entièrement intégré

Principales caractéristiques et avantages :

  • Configurations de clusters spécifiques optimisées pour la capacité, le calcul ou la performance IO
  • Choix de CPU Intel Xeon Scalable ou AMD EPYC - il est recommandé d'utiliser la même architecture de CPU pour l'ensemble du cluster.
  • Conception de nœuds de nom à haute disponibilité, sans point de défaillance unique
  • Grandes options de mémoire conçues spécifiquement pour Spark et d'autres calculs en mémoire et à faible latence
  • Plateformes de serveurs Hyper conçues pour les déploiements de très grande envergure
  • Conception à haute densité de calcul, de stockage et de mémoire pour obtenir la meilleure efficacité et le coût total de possession le plus bas.
  • Options de commutation réseau flexibles avec 1 ou 2 commutateurs 10G / 25G / 100G ou plus rapides par rack.
  • Conception rentable en rack 14U, idéale pour un environnement de test de validation du concept
  • Conception de rack standard 42U et options PDU flexibles pour répondre à tous les environnements de centres de données
  • Efficacité jusqu'au niveau Titanium (96%+) - Alimentations redondantes avec PMBus
  • Intégrée avec IPMI et la suite SMC OOB (out of band management) pour une gestion automatisée des clusters.
  • Entièrement intégré, entièrement configuré et entièrement testé avec les distributions Hadoop de votre choix
  • La grappe d'essai de la preuve de concept est disponible pour une expérience d'achat sans risque.
  • Support Cloudera Enterprise, sous licence Cloudera
Solution de cluster Hadoop entièrement intégrée de Supermicro
  • 1 ou 2x 48 ports 10G SFP+ / 10GBase-T / 25GbE
    1 ou 2x 32 ports 100GbE, 1x 48 ports Switch, GbE
  • 1x Management Node 1U Intel Xeon Scalable ou AMD EPYC CPUs
  • 3x Name Nodes 1U DP Intel Xeon Scalable ou AMD EPYC CPUs
  • Nœuds de données optimisés 2U SSG, 2U BigTwin ou 4U FatTwin® avec CPU Intel Xeon Scalable ou AMD EPYC
  • Rack standard 42U avec PDU mesurées, options de personnalisation du rack disponibles
  • Le service d'intégration comprend le rodage et le test complet du cluster, la mise à jour du BIOS et du FW, la configuration du réseau, la pré-installation de la distribution Cloudera CDP de votre choix et le cluster complet.
Serveur Supermicro

Serveurs Supermicro pour les déploiements Bare metal ou Kubernetes.

Serveurs CloudDC 1U ou

Serveurs GrandTwin® multi-nœuds

OU

Serveurs Supermicro pour le déploiement de VMware ou l'utilisation de GPU

Hyper serveurs 2U