Kontext ohne Grenzen: Eine leistungsstarke KV-Cache-Plattform für große Systeme KI Schlussfolgerung
Dieses IBM Redbook präsentiert eine validierte Referenzarchitektur für ein KI Die Infrastruktur ermöglicht die dauerhafte Speicherung, gemeinsame Nutzung und Wiederverwendung des KV-Cache über Anfragen, Sitzungen und GPU-Knoten hinweg. Sie besteht aus NVIDIA Dynamo für intelligentes, verteiltes KV-Cache-Management und IBM® Storage Scale Erasure Coding Edition (ECE) als leistungsstarker, gemeinsam genutzter Speicherebene. Supermicro Petascale-Server als Grundlage für Speicher und Netzwerk sowie NVIDIA Spectrum-X Ethernet zur Vernetzung all dieser Komponenten mit dem latenzarmen, bandbreitenstarken Netzwerk, das die Produktion ermöglicht KI Schlussfolgerungsanforderungen.





