NeuralMesh de WEKA : un stockage IA qui alimente les GPU.

Les charges de travail liées à l'IA et à l'inférence poussent les infrastructures de données traditionnelles au-delà de leurs limites. Supermicro et WEKA® NeuralMesh™ apporte des réponses éprouvées. NeuralMesh interconnecte les données, la puissance de calcul et l'IA au sein d'une plateforme orientée services à laquelle font confiance 30 % des entreprises du Fortune 50. Supermicro Grâce à ses systèmes et services, il aide les entreprises, les Neoclouds, les MSP et les fournisseurs de cloud IA à maximiser l'utilisation des GPU, à accélérer la mise sur le marché, à réduire le coût par jeton et à améliorer le délai d'obtention du premier jeton, du premier déploiement à la production à grande échelle.
WEKA et Supermicro Avantage
Optimiser l'utilisation du GPU tout en accélérant la mise sur le marché
Les GPU inactifs, en attente de données, augmentent les coûts et ralentissent la production de jetons. NeuralMesh offre une couche de données partagée et distribuée plus rapide qu'une solution locale. NVMe , en maintenant la productivité des GPU.
- Utilisation plus élevée du GPU
- Coût réduit par jeton
- Débit accru
- Délai de mise sur le marché plus court
Réduction drastique du coût par jeton
La grille de mémoire augmentée de WEKA sur NeuralMesh™ réduit considérablement le coût d'inférence à grande échelle :
- 4 à 10 fois plus de jetons/seconde pour la mémoire contextuelle
- Débit de lecture supérieur à 320 Go/s • Débit d'écriture supérieur à 150 Go/s
- Production de jetons 6,5 fois supérieure avec la même empreinte GPU
Vitesse d'inférence révolutionnaire — Délai d'obtention du premier jeton
La solution AMG de WEKA sur NeuralMesh™ offre un temps d'obtention du premier jeton jusqu'à 4 à 20 fois plus rapide grâce à la réutilisation du contexte mis en cache, éliminant ainsi le préremplissage redondant. windows grandir.
- Réponse plus rapide des agents IA en situation réelle de charge
- Plus d'utilisateurs simultanés sur la même infrastructure
- Performances constantes à grande échelle
Augmented Memory Grid™ — La solution au problème de la mémoire GPU
La grille de mémoire augmentée de WEKA étend la mémoire GPU grâce à un Token Warehouse™ haute vitesse — stockage persistant et récupération en microsecondes à l'échelle de l'exaoctet via NVIDIA GPUDirect® Storage, RDMA et NVMe .
- Latence de la microseconde
- Débit parallèle massif
- Structure de mémoire à l'échelle de l'exaoctet