Spark, Hadoop, transmisión de datos, soluciones de ingeniería de datos para IA

Supermicro y soluciones de Cloudera

El desafío

Existe una enorme cantidad de información generada por aplicaciones en constante evolución, desde datos estructurados y no estructurados hasta datos semiestructurados. La infraestructura de TI convencional no está diseñada para manejar la variedad, la velocidad y el volumen de datos producidos por redes sociales, aplicaciones móviles, sensores de máquinas e investigaciones científicas, entre otros. Para las empresas, utilizar el análisis de big data ya no es una cuestión de cuándo, sino de cómo. Spark, Hadoop y otros programas de código abierto, diseñados para el almacenamiento y procesamiento rentable de grandes volúmenes de datos, nacieron para este propósito. Pueden escalar linealmente hasta miles de servidores y petabytes de almacenamiento.

Cloudera integra estas tecnologías de código abierto y ofrece soporte de nivel empresarial para ayudar a sus clientes a obtener una ventaja competitiva gracias a la gran cantidad de datos que manejan. Para ello, Cloudera se implementa en clústeres de servidores escalables. Supermicro Simplifica la implementación de clústeres de Cloudera con sistemas fiables que cuentan con gestión tanto dentro como fuera de banda, y ofreciendo una amplia gama de plataformas de sistema que se adaptan a los centros de datos de los clientes.

La solución y Supermicro Ventaja

Supermicro Los clústeres de servidores son compatibles con Cloudera Cloud Data Platform (CDP) y ofrecen una implementación simplificada.

ELECCIÓN DEL SISTEMALos clientes pueden elegir la mejor plataforma de hardware para construir clústeres.
- Montaje en rack CloudDC / Hyper sistemas o servidores Twin multinodo, o servidores Blade
- Elección de arquitecturas de CPU, ya sea Intel o AMD CPU empresariales
- Selección de aceleradores de GPU para aplicaciones como la aceleración de Spark.
- Selección de discos de HDD a SSD a NVMe unidades
- Variedad de arquitecturas de red, desde opciones de 10 GbE hasta 400 GbE.
- Todos gestionados por el mismo IPMI / Redfish interfaces, y pueden agregarse mediante el panel único Supermicro Compositor en la nube
- Muchos de los despliegues se pueden automatizar utilizando Supermicro Orquestador de la Super Nube
OPCIÓN DE IMPLEMENTACIÓN : Los clientes pueden implementar en cualquiera de las siguientes implementaciones bare-metal: Red Hat OpenShift , Kubernetes o implementaciones de máquinas virtuales
ESCALABILIDAD : Los clientes pueden comenzar con el clúster más pequeño y escalarlo agregando servidores.
AUTOMATIZACIÓN : Supermicro puede construir el clúster, completamente probado con calidad de construcción garantizada y cronograma de entrega. La implementación del software se puede desplegar utilizando las funciones de automatización de Supermicro Orquestador de la nube

Ejemplo de clúster Cloudera CDP totalmente integrado

Características y ventajas principales:

Configuraciones de clúster diseñadas específicamente y optimizadas para capacidad, computación o rendimiento de E/S.
Elección de Intel Xeon Escalable o AMD EPYC CPU: se recomienda utilizar la misma arquitectura de CPU para todo el clúster.
Diseño de NameNode de alta disponibilidad sin un único punto de fallo
Amplias opciones de memoria diseñadas específicamente para Spark y otros cálculos en memoria de baja latencia.
Hyper - Plataformas de servidores escalables diseñadas para implementaciones extremadamente grandes.
Diseño de computación, almacenamiento y memoria de alta densidad para lograr la mejor eficiencia y el menor costo TCO
Opciones de conmutación de red flexibles con 1 o 2 conmutadores de 10G / 25G / 100G o superiores por rack.
Diseño de rack de 14U rentable, ideal para entornos de pruebas de prueba de concepto.
Diseño de rack estándar de 42U y opciones de PDU flexibles que se adaptan a cualquier entorno de centro de datos.
Eficiencia de nivel Titanio (96%+): Fuentes de alimentación redundantes con PMBus
Integrado con IPMI y el conjunto de herramientas de gestión fuera de banda (OOB) de SMC para la gestión automatizada del clúster.
Completamente integrado, totalmente configurado y totalmente probado con las distribuciones de Hadoop que usted elija.
Grupo de pruebas de prueba de concepto disponible para una experiencia de compra sin riesgos.
Soporte empresarial de Cloudera, con licencia de Cloudera.

Supermicro Rack de solución de clúster Hadoop totalmente integrado

1 o 2 módulos de 48 puertos 10G SFP+ / 10GBase-T / 25GbE
1 o 2 conmutadores de 32 puertos 100GbE, 1 conmutador de 48 puertos, GbE
1 nodo de gestión Intel 1U Xeon Escalable o AMD EPYC CPU
3 nodos de nombres 1U DP Intel Xeon Escalable o AMD EPYC CPU
Nodos de datos optimizados 2U SSG, 2U BigTwin o 4U FatTwin® con Intel Xeon Escalable o AMD EPYC CPU
Rack estándar de 42U con PDUs con medición, opciones de personalización del rack disponibles.
El servicio de integración incluye pruebas y puesta a punto completa del clúster, actualización de BIOS y firmware, configuración de red, preinstalación de la distribución Cloudera CDP de su elección y configuración completa del clúster.