Spark, Hadoop, Data Streaming, Soluciones de ingeniería de datos para IA
Soluciones de Supermicro y Cloudera
El desafío
Existe una enorme cantidad de información impulsada por las aplicaciones en constante cambio, desde datos estructurados y no estructurados hasta semiestructurados. La infraestructura de TI convencional no está hecha para manejar la variedad, la velocidad y el volumen de los datos producidos por las redes de medios sociales, las aplicaciones móviles, los sensores de las máquinas y las investigaciones científicas, etc. Para las empresas, utilizar la analítica de grandes datos ya no es una cuestión de cuándo, sino de cómo. Spark, Hadoop y otros programas de código abierto, diseñados para el almacenamiento y procesamiento rentables de grandes volúmenes de datos, han nacido con este propósito. Puede escalar linealmente hasta miles de servidores y petabytes de almacenamiento.
Cloudera integra estas tecnologías de código abierto y proporciona soporte de nivel empresarial para ayudar a los clientes a obtener una ventaja competitiva a partir de grandes volúmenes de datos. Para lograrlo, Cloudera se implementa en clústeres de servidores escalables. Supermicro simplifica el despliegue de clústeres de Cloudera con sistemas fiables que disponen de gestión en banda y fuera de banda, y al ofrecer una amplia selección de plataformas de sistema que se adaptan a los centros de datos de los clientes.
La solución y la ventaja de Supermicro
Los clústeres de servidores Supermicro son compatibles con Cloudera Cloud Data Platform (CDP) con una implementación simplificada.
- ELECCIÓN DEL SISTEMA: Los clientes pueden elegir la mejor plataforma de hardware para construir clusters
- Sistemas Hyper de montaje en bastidor o servidores Twin multinodo, o servidores Blade
- Elección de arquitecturas de CPU, ya sean CPU empresariales Intel o AMD
- Elección de aceleradores de GPU para aplicaciones como la aceleración de Spark
- Elección de discos desde HDD a SSD o unidades NVMe
- Elección de arquitecturas de red, opciones de 10 GbE a 400 GbE
- Todos gestionados por las mismas interfaces IPMI / Redfish, y pueden ser agregados por el Supermicro Cloud Composer de panel único
- Gran parte del despliegue puede automatizarse utilizando Supermicro Super Cloud Orchestrator
- ELECCIÓN DE IMPLEMENTACIÓN: Los clientes pueden implementar en bare-metal, Red Hat OpenShift, Kubernetes o en máquinas virtuales.
- ESCALABILIDAD: Los clientes pueden empezar con el cluster más pequeño y escalar añadiendo servidores.
- AUTOMATIZACIÓN: Supermicro puede construir el clúster, completamente probado con calidad de construcción garantizada y cronograma de entrega. La implementación del software puede desplegarse utilizando las características de automatización de Supermicro Cloud Orchestrator
Ejemplo de clúster Cloudera CDP totalmente integrado
Principales características y ventajas:
- Configuraciones de clúster creadas a medida y optimizadas para la capacidad, el cálculo o el rendimiento de E/S
- Elección de CPU Intel Xeon Scalable o AMD EPYC - se recomienda utilizar la misma arquitectura de CPU para todo el clúster
- Diseño de nodo de nombre de alta disponibilidad sin punto único de fallo
- Grandes opciones de memoria diseñadas específicamente para Spark y otros cálculos en memoria y de baja latencia
- Plataformas de servidor Hyper diseñadas para despliegues extremadamente grandes
- Diseño de alta densidad de computación, almacenamiento y memoria para lograr la mejor eficiencia y el menor coste total de propiedad (TCO)
- Opciones flexibles de conmutadores de red con 1 ó 2 conmutadores 10G / 25G / 100G o más rápidos por rack.
- Diseño rentable en rack 14U, ideal para entornos de prueba de concepto
- Diseño de rack estándar 42U y opciones flexibles de PDU que se adaptan a cualquier entorno de centro de datos
- Eficiencia hasta nivel titanio (96%+) - Fuentes de alimentación redundantes con PMBus
- Integrado con IPMI y la suite SMC OOB (gestión fuera de banda) para la gestión automatizada del clúster
- Totalmente integrado, totalmente configurado y completamente probado con las distribuciones Hadoop de su elección
- Grupo de pruebas de concepto disponible para una experiencia de compra sin riesgos
- Soporte Cloudera Enterprise, con licencia de Cloudera
- 1 o 2x 48 puertos 10G SFP+ / 10GBase-T / 25GbE1 o 2 conmutadores de 32 puertos 100GbE, 1 conmutador de 48 puertos, GbE
- 1 nodo de gestión 1U con CPU Intel Xeon Scalable o AMD EPYC
- 3 nodos de nombre 1U DP con CPU Intel Xeon Scalable o AMD EPYC
- Nodos de datos optimizados 2U SSG, 2U BigTwin o 4U FatTwin® con CPU Intel Xeon Scalable o AMD EPYC
- Rack estándar de 42U con PDU medidos, opciones de personalización del rack disponibles
- El servicio de integración incluye Burn-in y pruebas completas del cluster, actualización de BIOS y FW, configuración de redes, preinstalación de la distribución Cloudera CDP de su elección y cluster completo.
Servidores Supermicro para implementaciones bare metal o Kubernetes
O
Servidores Supermicro para implementaciones de VMware o con uso de GPU
Supermicro y Cloudera ofrecen una recopilación de datos fiable para IA y análisis.
Servidores Supermicro GrandTwin™ que ejecutan Cloudera Flow Management y Stream Processing
Supermicro y Cloudera ofrecen una recopilación de datos fiable para IA y análisis.
Los Servidores Supermicro CloudDC Sobresalen en la Ejecución de Cloudera Flow Management y Stream Processing
Supermicro, Cloudera y NVIDIA aceleran el análisis de datos empresariales
Cómo los servidores Supermicro Ultra y Cloudera Data Platform extraen información detallada de grandes volúmenes de datos
El servidor Supermicro A+ AS -1124US-TNRP amplía el liderazgo en rendimiento OLTP con TPC Benchmark® C (TPC-C®)
Supermicro AS-1124US-TNRP impulsado por procesadores AMD EPYC™ de la serie 7003 destaca por su rendimiento en bases de datos
Solución de migración de datos ATEMPO de Supermicro para datos no estructurados
Miria, una plataforma de software de migración de datos para conjuntos de archivos no estructurados a petascala, destaca en los servidores Supermicro
Arquitectura de referencia TwinPro² Supermicro 2U de 4 nodos para EsgynDB®
Supermicro y Esgyn se han asociado para lanzar al mercado un Big Data Appliance que ofrece información empresarial más rápida utilizando EsgynDB, una base de datos convergente de Big Data optimizada para ejecutarse en la plataforma Supermicro 2U 4-node TwinPro² SuperServer.
Récord mundial de rendimiento en cargas de trabajo de análisis de datos
Con Supermicro AS -1114S-WN10RT Impulsado por procesadores AMD EPYC™ Serie 7003