Ir al contenido principal

Spark de código abierto, streaming de datos, soluciones de ingeniería de datos para IA

Supermicro con código abierto

El desafío

Existe una enorme cantidad de información impulsada por las aplicaciones en constante cambio, desde datos estructurados y no estructurados hasta semiestructurados. La infraestructura de TI convencional no está hecha para manejar la variedad, la velocidad y el volumen de los datos producidos por las redes de medios sociales, las aplicaciones móviles, los sensores de las máquinas y las investigaciones científicas, etc. Para las empresas, utilizar la analítica de grandes datos ya no es una cuestión de cuándo, sino de cómo. Spark y otros programas de código abierto, diseñados para el almacenamiento y procesamiento rentables de grandes volúmenes de datos, han nacido con este propósito. Puede escalar linealmente hasta miles de servidores y petabytes de almacenamiento.

Para los proveedores de servicios y los clientes expertos en código abierto, que pueden gestionar y mantener la implementación de código abierto de Spark y el software asociado de transmisión de datos e ingeniería de datos, Supermicro la implementación de clústeres de Kubernetes con sistemas fiables que cuentan con gestión tanto en banda como fuera de banda, y ofreciendo una amplia selección de plataformas de sistemas que se adaptan a los centros de datos de los clientes.

La solución y Supermicro

Los clústeres Supermicro admiten código abierto con una implementación simplificada de Kubernetes.

  • ELECCIÓN DEL SISTEMA: Los clientes pueden elegir la mejor plataforma de hardware para construir clusters
    • Sistemas Hyper de montaje en bastidor o servidores Twin multinodo, o servidores Blade
    • Elección de arquitecturas de CPU, ya sean CPU empresariales Intel o AMD
    • Elección de aceleradores de GPU para aplicaciones como la aceleración de Spark
    • Elección de discos desde HDD a SSD o unidades NVMe
    • Elección de arquitecturas de red, opciones de 10 GbE a 400 GbE
    • Todo gestionado por las mismas interfaces IPMI/Redfish, y se puede agregar mediante el panel único Supermicro Composer.
    • Gran parte de la implementación se puede automatizar utilizando Supermicro Cloud Orchestrator.
  • ELECCIÓN DE IMPLEMENTACIÓN: Los clientes pueden implementar en bare-metal, Red Hat OpenShift, Kubernetes o en máquinas virtuales.
  • ESCALABILIDAD: Los clientes pueden empezar con el cluster más pequeño y escalar añadiendo servidores.
  • AUTOMATIZACIÓN: Supermicro construir el clúster, totalmente probado con calidad de construcción garantizada y calendario de entrega. La implementación del software se puede desplegar utilizando las funciones de automatización de Supermicro Orchestrator.

Ejemplo de clúster de código abierto totalmente integrado con Kubernetes

Principales características y ventajas:

  • Configuraciones de clúster creadas a medida y optimizadas para la capacidad, el cálculo o el rendimiento de E/S
  • Soporte de Kubernetes, OpenShift y otras implementaciones de Kubernetes
  • Elección de CPU Intel Xeon Scalable o AMD EPYC - se recomienda utilizar la misma arquitectura de CPU para todo el clúster
  • Diseño de nodo de nombre de alta disponibilidad sin punto único de fallo
  • Grandes opciones de memoria diseñadas específicamente para Spark y otros cálculos en memoria y de baja latencia
  • Plataformas de servidor Hyper diseñadas para despliegues extremadamente grandes
  • Diseño de alta densidad de computación, almacenamiento y memoria para lograr la mejor eficiencia y el menor coste total de propiedad (TCO)
  • Opciones flexibles de conmutadores de red con 1 ó 2 conmutadores 10G / 25G / 100G o más rápidos por rack.
  • Diseño rentable en rack 14U, ideal para entornos de prueba de concepto
  • Diseño de rack estándar 42U y opciones flexibles de PDU que se adaptan a cualquier entorno de centro de datos
  • Eficiencia hasta nivel titanio (96%+) - Fuentes de alimentación redundantes con PMBus
  • Integrado con IPMI y la suite SMC OOB (gestión fuera de banda) para la gestión automatizada del clúster
  • Totalmente integrado, totalmente configurado y completamente probado con las distribuciones Hadoop de su elección
  • Grupo de pruebas de concepto disponible para una experiencia de compra sin riesgos
  • El cliente proporciona la imagen de los sistemas de software de código abierto, autoasistencia del cliente
Rack con solución de clúster Hadoop Supermicro integrada Supermicro
  • 1 o 2x 48 puertos 10G SFP+ / 10GBase-T / 25GbE
    1 o 2 conmutadores de 32 puertos 100GbE, 1 conmutador de 48 puertos, GbE
  • 1x Nodo de gestión 1U CPU Intel Xeon Scalable o AMD EPYC
  • 3x Nodos de nombre 1U DP CPU Intel Xeon Scalable o AMD EPYC
  • Nodos de datos optimizados 2U SSG, 2U BigTwin o 4U FatTwin® con CPU Intel Xeon Scalable o AMD EPYC
  • Rack estándar de 42U con PDU medidos, opciones de personalización del rack disponibles
  • El servicio de integración incluye Burn-in y pruebas completas del cluster, actualización de BIOS y FW, configuración de redes, imagen de código abierto proporcionada por el cliente