NeuralMesh von WEKA: KI Speicher, der die GPUs mit Strom versorgt
KI und Inferenz-Workloads bringen die traditionelle Dateninfrastruktur an ihre Grenzen. Supermicro und WEKA® NeuralMesh™ liefern bewährte Lösungen. NeuralMesh verbindet Daten, Rechenleistung und KI auf einer serviceorientierten Plattform, der 30 % der Fortune-50-Unternehmen vertrauen. Zusammen mit Supermicro Systeme und Dienstleistungen, es hilft Unternehmen, Neoclouds, MSPs und KI Cloud-Anbieter maximieren die GPU-Auslastung, beschleunigen die Markteinführung, senken die Kosten pro Token und verkürzen die Zeit bis zum ersten Token – von der ersten Bereitstellung bis zur Produktion im Spitzenmaßstab.
WEKA und Supermicro Vorteil
Maximierung der GPU-Auslastung bei gleichzeitiger Beschleunigung der Markteinführung
Untätige GPUs, die auf Daten warten, treiben die Kosten in die Höhe und verlangsamen die Token-Ausgabe. NeuralMesh bietet eine gemeinsam genutzte, verteilte Datenschicht, die schneller ist als lokale Daten. NVMe , um die Produktivität der GPUs zu erhalten.
- Höhere GPU-Auslastung
- Reduzierte Kosten pro Token
- Erhöhter Durchsatz
- Schnellere Markteinführung
Dramatische Senkung der Kosten pro Token
WEKAs Augmented Memory Grid™ auf NeuralMesh™ senkt die Inferenzkosten im großen Maßstab drastisch:
- 4–10x mehr Token/Sek. für den Kontextspeicher
- Lesedurchsatz über 320 GB/s • Schreibdurchsatz über 150 GB/s
- 6,5-mal höhere Token-Produktion bei gleicher GPU-Ressourcenauslastung
Bahnbrechende Inferenzgeschwindigkeit – Zeit bis zum ersten Token
Die AMG-Technologie von WEKA auf NeuralMesh™ ermöglicht eine bis zu 4- bis 20-mal schnellere Verarbeitung der Time-to-First-Token durch die Wiederverwendung zwischengespeicherter Kontextinformationen – wodurch redundante Vorbefüllung als Kontext vermieden wird. windows wachsen.
- Schneller KI Agentenreaktion unter realer Last
- Mehr gleichzeitige Nutzer auf derselben Infrastruktur
- Konstante Leistungsfähigkeit im großen Maßstab
Erweitertes Speichergitter™ – Überwindung der GPU-Speichergrenze
Das Augmented Memory Grid von WEKA erweitert den GPU-Speicher um ein Hochgeschwindigkeits-Token Warehouse™ – persistente Speicherung und Abruf im Mikrosekundenbereich im Exabyte-Maßstab über NVIDIA GPUDirect® Storage, RDMA und NVMe Die
- Latenz im Mikrosekundenbereich
- Massiver paralleler Durchsatz
- Speicherarchitektur im Exabyte-Bereich
Ausgewählte Produkte
