Building Blocks acelerados con GPU de Intel

Supermicro
Diseñado para acelerar

Para entrenamiento e inferencia de IA a escala de nube
La demanda de computación de alto rendimiento para entrenamiento de IA/Aprendizaje Profundo (DL) se ha duplicado en tamaño cada 3,5 meses desde 2013 (según OpenAI) y se está acelerando con el creciente tamaño de los conjuntos de datos y el número de aplicaciones y servicios basados en grandes modelos de lenguaje (LLM), visión computacional, sistemas de recomendación y más.
Con el aumento de la demanda de un mayor rendimiento, rendimiento y capacidad de formación e inferencia, el sector necesita sistemas creados específicamente que ofrezcan una mayor eficiencia, menor coste, facilidad de implementación, flexibilidad para permitir la personalización y escalabilidad de los sistemas de IA. La IA se ha convertido en una tecnología esencial para diversas áreas como copilotos, asistentes virtuales, automatización de la fabricación, operaciones de vehículos autónomos e imágenes médicas, por nombrar algunas. Supermicro se ha asociado con Intel para proporcionar un sistema a escala de nube y un diseño de bastidor con los aceleradores Intel Gaudi AI.

Nuevo Supermicro X14 Gaudi® 3. Plataforma de entrenamiento e inferencia de IA
Al brindar opciones al mercado de IA empresarial, el nuevo Supermicro X14 La plataforma de entrenamiento de IA está construida sobre los aceleradores Intel® Gaudi 3 de tercera generación, diseñados para aumentar aún más la eficiencia del entrenamiento de modelos de IA a gran escala y la inferencia de IA. Disponible en configuraciones refrigeradas por aire y por líquido, Supermicro 's X14 La solución Gaudi 3 se adapta fácilmente para satisfacer una amplia gama de requisitos de carga de trabajo de IA .
- GPU: 8 aceleradores Gaudi 3 HL-325L (refrigerados por aire) o HL-335 (refrigerados por líquido) en una placa base OAM 2.0
- CPU: Intel® dual Xeon® 6 procesadores
- Memoria: 24 DIMMs - hasta 6 TB de memoria en 1DPC
- Unidades: Hasta 8 unidades intercambiables en caliente PCIe 5.0 NVMe
- Fuentes de alimentación: 8 de 3000 W de alta eficiencia, totalmente redundantes (4+4), nivel Titanium.
- Conectividad de red: 6 puertos OSFP 800GbE integrados para escalabilidad horizontal.
- Ranuras de expansión: 2 PCIe 5.0 x16 (FHHL) + 2 PCIe 5.0 x8 (FHHL)
- Cargas de trabajo: Formación e inferencia de IA
Servidor de formación de IA Supermicro Gaudi®2
Aprovechando el éxito del original Supermicro El sistema de entrenamiento de IA de Gaudi, el servidor de IA Gaudi 2, prioriza dos consideraciones clave: la integración de aceleradores de IA con módulos de red de alta velocidad incorporados para impulsar la eficiencia operativa en el entrenamiento de modelos de IA de última generación y brindar a la industria de la IA la opción que necesita .
- GPU: 8 tarjetas mezzanine Gaudi2 HL-225H
- CPU: Dos procesadores Intel® Xeon® Scalable de 3ª generación
- Memoria: 32 módulos DIMM - hasta 8 TB de memoria SDRAM ECC registrada DDR4-3200 MHz
- Unidades: hasta 24 unidades intercambiables en caliente (SATA/NVMe/SAS)
- Alimentación: 6 fuentes de alimentación totalmente redundantes de 3000 W y alta eficiencia (54 V+12 V)
- Redes: 24 enlaces SerDes PAM4 de 100 GbE (48 x 56 Gb) mediante 6 QSFP-DD
- Ranuras de expansión: 2 conmutadores PCIe 4.0
- Cargas de trabajo: Formación e inferencia de IA
Rendimiento y eficiencia de la IA en el borde de la red: con tecnología Intel.
Desbloquee una IA de borde potente y de bajo consumo energético con soluciones de sistemas diseñadas específicamente por Intel y Supermicro . Supermicro La cartera de productos de la compañía incluye una amplia selección de CPU y GPU avanzadas para ofrecer resultados de IA de alto rendimiento y baja latencia en entornos remotos y con espacio limitado, lo que ayuda a las empresas a escalar aplicaciones basadas en datos con confianza.
- Optimiza el rendimiento con arquitecturas integradas de CPU, GPU y NPU.
- Ejecuta la inferencia de IA más rápido con OpenVINO.
- Implemente IA confiable y energéticamente eficiente en industrias como el comercio minorista, la atención médica y la fabricación.