Spark, Hadoop, Data Streaming, Soluciones de ingeniería de datos para IA

Soluciones de Supermicro y Cloudera

El desafío

Existe una enorme cantidad de información impulsada por las aplicaciones en constante cambio, desde datos estructurados y no estructurados hasta semiestructurados. La infraestructura de TI convencional no está hecha para manejar la variedad, la velocidad y el volumen de los datos producidos por las redes de medios sociales, las aplicaciones móviles, los sensores de las máquinas y las investigaciones científicas, etc. Para las empresas, utilizar la analítica de grandes datos ya no es una cuestión de cuándo, sino de cómo. Spark, Hadoop y otros programas de código abierto, diseñados para el almacenamiento y procesamiento rentables de grandes volúmenes de datos, han nacido con este propósito. Puede escalar linealmente hasta miles de servidores y petabytes de almacenamiento.

Cloudera integra estas tecnologías de código abierto y proporciona soporte de nivel empresarial para ayudar a los clientes a obtener una ventaja competitiva a partir de grandes volúmenes de datos. Para lograrlo, Cloudera se implementa en clústeres de servidores escalables. Supermicro simplifica el despliegue de clústeres de Cloudera con sistemas fiables que disponen de gestión en banda y fuera de banda, y al ofrecer una amplia selección de plataformas de sistema que se adaptan a los centros de datos de los clientes.

La solución y la ventaja de Supermicro

Los clústeres de servidores Supermicro son compatibles con Cloudera Cloud Data Platform (CDP) con una implementación simplificada.

ELECCIÓN DEL SISTEMA: Los clientes pueden elegir la mejor plataforma de hardware para construir clusters
- Sistemas Hyper de montaje en bastidor o servidores Twin multinodo, o servidores Blade
- Elección de arquitecturas de CPU: CPU AMD de Intel o AMD
- Elección de aceleradores de GPU para aplicaciones como la aceleración de Spark
- Selección de discos, desde discos duros (HDD) hasta NVMe SSD NVMe
- Elección de arquitecturas de red, opciones de 10 GbE a 400 GbE
- Todos gestionados por las mismas interfaces IPMI / Redfish, y pueden ser agregados por el Supermicro Cloud Composer de panel único
- Gran parte del despliegue puede automatizarse utilizando Supermicro Super Cloud Orchestrator
ELECCIÓN DE IMPLEMENTACIÓN: Los clientes pueden implementar en bare-metal, Red Hat OpenShift, Kubernetes o en máquinas virtuales.
ESCALABILIDAD: Los clientes pueden empezar con el cluster más pequeño y escalar añadiendo servidores.
AUTOMATIZACIÓN: Supermicro puede construir el clúster, completamente probado con calidad de construcción garantizada y cronograma de entrega. La implementación del software puede desplegarse utilizando las características de automatización de Supermicro Cloud Orchestrator

Ejemplo de clúster Cloudera CDP totalmente integrado

Principales características y ventajas:

Configuraciones de clúster creadas a medida y optimizadas para la capacidad, el cálculo o el rendimiento de E/S
Elección entreEPYC Intel Xeon o AMD EPYC : se recomienda utilizar la misma arquitectura de procesador en todo el clúster
Diseño de nodo de nombre de alta disponibilidad sin punto único de fallo
Grandes opciones de memoria diseñadas específicamente para Spark y otros cálculos en memoria y de baja latencia
Plataformas de servidor Hyper diseñadas para despliegues extremadamente grandes
Diseño de alta densidad en materia de procesamiento, almacenamiento y memoria para lograr la máxima eficiencia y el menor TCO
Opciones flexibles de conmutadores de red con 1 ó 2 conmutadores 10G / 25G / 100G o más rápidos por rack.
Diseño rentable en rack 14U, ideal para entornos de prueba de concepto
Diseño de rack estándar 42U y opciones flexibles de PDU que se adaptan a cualquier entorno de centro de datos
Eficiencia hasta nivel titanio (96%+) - Fuentes de alimentación redundantes con PMBus
Integrado con IPMI y la suite SMC OOB (gestión fuera de banda) para la gestión automatizada del clúster
Totalmente integrado, totalmente configurado y completamente probado con las distribuciones Hadoop de su elección
Grupo de pruebas de concepto disponible para una experiencia de compra sin riesgos
Soporte Cloudera Enterprise, con licencia de Cloudera

Rack de solución de clúster Hadoop completamente integrado de Supermicro

1 o 2x 48 puertos 10G SFP+ / 10GBase-T / 25GbE
1 o 2 conmutadores de 32 puertos 100GbE, 1 conmutador de 48 puertos, GbE
1 nodo de gestión de 1U conEPYC Intel Xeon o AMD EPYC
3 nodos de nombre conEPYC Intel Xeon o AMD EPYC de 1U
Nodos de datos optimizados SSG de 2U, BigTwin de 2U o FatTwin® de 4U FatTwin® EPYC Intel Xeon o AMD EPYC
Rack estándar de 42U con PDU medidos, opciones de personalización del rack disponibles
El servicio de integración incluye Burn-in y pruebas completas del cluster, actualización de BIOS y FW, configuración de redes, preinstalación de la distribución Cloudera CDP de su elección y cluster completo.