NeuralMesh de WEKA: Almacenamiento de IA que mantiene alimentadas las GPU

Las cargas de trabajo de IA e inferencia están llevando la infraestructura de datos tradicional más allá de sus límites. Supermicro y WEKA® NeuralMesh™ ofrecen respuestas comprobadas. NeuralMesh interconecta datos, computación e IA en una plataforma orientada a servicios en la que confían el 30% de las empresas Fortune 50. Junto con Supermicro Para sistemas y servicios, ayuda a empresas, neoclouds, MSP y proveedores de nube de IA a maximizar la utilización de la GPU, acelerar el tiempo de comercialización, reducir el coste por token y mejorar el tiempo hasta el primer token, desde la primera implementación hasta la producción a escala de vanguardia.
WEKA y Supermicro Ventaja
Maximizar la utilización de la GPU y acelerar el tiempo de comercialización.
Las GPU inactivas —esperando datos— aumentan los costos y ralentizan la producción de tokens. NeuralMesh ofrece una capa de datos compartida y distribuida más rápida que la local. NVMe , manteniendo la productividad de las GPU.
- Mayor utilización de la GPU
- Coste reducido por ficha
- Mayor rendimiento
- Mayor rapidez para lanzar productos al mercado.
Reducción drástica del coste por token
La tecnología Augmented Memory Grid™ de WEKA sobre NeuralMesh™ reduce drásticamente el coste de inferencia a gran escala:
- De 4 a 10 veces más tokens/segundo para memoria de contexto
- Velocidad de lectura de más de 320 GB/s • Velocidad de escritura de más de 150 GB/s
- 6,5 veces más producción de tokens con la misma huella de GPU.
Velocidad de inferencia revolucionaria: tiempo hasta el primer token
AMG de WEKA en NeuralMesh™ ofrece un tiempo hasta el primer token entre 4 y 20 veces más rápido al reutilizar el contexto en caché, eliminando el prellenado redundante como contexto. windows crecer.
- Respuesta más rápida del agente de IA bajo carga real
- Más usuarios simultáneos en la misma infraestructura
- Rendimiento constante a gran escala
Red de memoria aumentada™: la solución al problema de la memoria de la GPU.
La red de memoria aumentada de WEKA extiende la memoria de la GPU con un Token Warehouse™ de alta velocidad: almacenamiento persistente y recuperación en microsegundos a escala de exabytes a través de NVIDIA GPUDirect® Storage, RDMA y NVMe .
- latencia de microsegundos
- Rendimiento paralelo masivo
- Fabricación de memoria a escala de exabytes