Stockage défini par logiciel haute performance pour les charges de travail d'IA

IBM Storage Scale Erasure Code Edition (ECE) est une solution de stockage définie par logiciel dotée d’un système de fichiers parallèle haute performance (GPFS). Sa compatibilité avec les serveurs de stockage Petascale Supermicroa été validée ; elle offre ainsi une capacité de l’ordre de l’exaoctet, une latence ultra, des E/S parallèles et des architectures à plusieurs niveaux pour prendre en charge efficacement les charges de travail d’entraînement et d’inférence en IA. Elle permet un partage transparent des données entre les nœuds Supermicro , offrant ainsi une plateforme optimisée en termes de coûts, évolutive et résiliente pour l’IA. Grâce à une gestion des données basée sur des règles, elle hiérarchise automatiquement les données sur différents supports de stockage au sein du système de stockage Petascale Supermicroafin d’optimiser les performances et les coûts. Cela fait d’IBM Scale ECE une solution idéale pour les entreprises qui recherchent l’élasticité et la facilité de gestion d’un stockage défini par logiciel, associées aux performances des systèmes de fichiers de classe entreprise.

Optimiser l'utilisation du GPU et éliminer les goulots d'étranglement

IBM Storage Scale offre des performances de système de fichiers parallèles qui réduisent au minimum le temps d'inactivité des GPU causé par les goulots d'étranglement de stockage lors des charges de travail d'entraînement et d'inférence en IA. Lorsqu'elle est déployée sur des serveurs Supermicro , cette solution fournit l'infrastructure à haut débit et à faible latence nécessaire pour maintenir les GPU, dont le coût est élevé, à leur rendement maximal. Pour les équipes spécialisées dans l'IA et le calcul haute performance (HPC), les capacités d'accélération de la plateforme sont particulièrement utiles pour réduire le temps de GPU perdu en raison des temps d'attente liés aux E/S de stockage.

Accélérez les flux de travail d'IA grâce à la hiérarchisation intelligente

La solution IBM Storage Scale sur les serveurs Supermicro prend en charge la hiérarchisation multi-flash avec des disques NVMe et QLC, ce qui permet aux entreprises d’adapter les coûts, les performances et la durabilité à des profils de charge de travail spécifiques. Pour l’inférence IA, IBM Storage Scale permet le partage du cache KV entre des milliers de serveurs GPU, offrant ainsi un gain de vitesse pouvant dépasser 50 fois le temps nécessaire pour obtenir le premier token (time-to-first-token) pour les grands modèles linguistiques, par rapport à un recalcul.

Unifier les données dans des environnements distribués

IBM Storage Scale fournit un espace de noms global unique qui permet à tous les serveurs GPU d'accéder simultanément aux mêmes ensembles de données, éliminant ainsi les problèmes liés à la copie des données et au contrôle des versions au sein des équipes d'IA distribuées. Lorsqu'elle est déployée sur les serveurs de stockage Petascale Supermicro, cette architecture désagrégée vous permet de faire évoluer indépendamment les ressources de calcul et de stockage en fonction des exigences des charges de travail.
  • Collecte de données pour l'IA et entraînement des modèles d'IA
  • Réglage des modèles d'IA et inférence d'IA
  • Calcul haute performance (HPC)
  • Recherche et ingénierie à forte intensité de données
  • Plateforme de stockage évolutive d'IBM
    1. Accès hautement performant aux fichiers, aux objets et aux données vectorielles
      (POSIX, GPUDirect, Container CSI, S3, SMB, NFS, HDFS)
    2. Gestion et transformation sécurisées des données
      (Positionnement, déplacement et vectorisation automatisés)
    3. Une hiérarchisation transparente et intégrée
      (NVMe, SSD,SAS, bande magnétique)
      Mise en cache intégrée et transparente
      (Accélération du traitement des fichiers et des objets à distance)
Serveur de stockage Supermicro pour IBM Storage Scale Code Edition
Serveur de stockage Supermicro

Produits vedettes

Serveur de stockage Supermicro Petascale E3.S pour la solution IBM Storage Scale ECE

Serveur de stockage E3.S 1U à l'échelle pétaflopique

ASG-1115S-NE316R
En savoir plus

IBM Redbook | Rédigé par IBM, Supermicro NVIDIA
Contexte sans limites : une plateforme de cache KV haute performance pour l'inférence IA à grande échelle

Lisez le Redbook

Ressources