Supermicro

Entwickelt, um KI zu beschleunigen

Da KI von Megawatt auf Gigawatt skalieren, verlagert sich der Schwerpunkt von Modellen auf die Infrastruktur. Begleiten Sie drei führende Persönlichkeiten aus den Bereichen Computing, Systeme und nationale Plattformen bei ihrer Untersuchung, wie Entscheidungen in Bezug auf Stromversorgung, Kühlung, Architektur und Bereitstellung heute die Leistung, Souveränität und Kontrolle von Intelligenz bestimmen. Die Teilnehmer erfahren, warum sich die primären Engpässe in fortschrittlichen KI von Algorithmen zu physischer Infrastruktur, einschließlich Leistungsdichte, Kühlung und Latenz, verlagert haben. Sie lernen, was erforderlich ist, um KI im Gigawatt-Maßstab einzusetzen, ohne dabei Kompromisse bei Zuverlässigkeit, Sicherheit oder Wirtschaftlichkeit einzugehen. Sie erkunden, wie Systemarchitektur und Integrationsentscheidungen Determinismus, Isolation und Vertrauen in groß angelegten KI beeinflussen, und gewinnen Einblicke, wie sich souveräne und unternehmensinterne KI in Bezug auf Governance und Kontrolle von traditionellen Hyperscale-Cloud-Modellen unterscheiden.

Unternehmen gehen von der KI-Experimentierphase zur Produktion über, wo der ROI ebenso wichtig ist wie die Leistung. Diese von Supermicro und NVIDIA präsentierte Session beleuchtet, wie KI-Fabriken, Edge-KI und On-Premise-Bereitstellungen zusammenwirken, um skalierbare, kosteneffiziente KI-Lösungen bereitzustellen. Wir werden hervorheben, wie Systeme, die von GPUs wie der NVIDIA RTX PRO 6000/4500 Blackwell Server Edition angetrieben werden, Inferenz-, Visualisierungs- und Retrieval-Augmented Generation (RAG)-Workloads in Rechenzentren und Edge-Umgebungen unterstützen. Die Session wird auch untersuchen, wie RAG-Pipelines von eng integrierten GPUs, Netzwerken und Speichern profitieren, um latenzarme, kontextbezogene Ergebnisse zu liefern – und Unternehmen dabei helfen, die Datenkontrolle zu verbessern, Betriebskosten zu senken und den ROI aus KI-Investitionen zu maximieren.

Da KI-Fabriken zur Unterstützung größerer Modelle und höherer Clusterdichten skalieren, ist Flüssigkeitskühlung unerlässlich geworden. Diese von Supermicro und NVIDIA präsentierte Session beleuchtet, wie KI-Fabriken der nächsten Generation mit flüssigkeitsgekühlten NVIDIA HGX-Systemen und NVL72 Rack-Scale-Plattformen gebaut werden, die dichte, hochleistungsfähige GPU-Cluster für groß angelegtes KI-Training ermöglichen. Die Teilnehmer erhalten Einblicke in die Bereitstellung dieser Plattformen durch Supermicro als validierte Rack-Scale-Lösungen und nicht als eigenständige Server. Die Session behandelt wichtige Design- und Bereitstellungsüberlegungen, einschließlich Direkt-Chip-Kühlung und flüssigkeitsbasierter Rack-Integration, und zeigt, wie flüssigkeitsgekühlte Gesamtlösungen die Online-Zeit beschleunigen und gleichzeitig die Leistung und Energieeffizienz für moderne KI-Fabriken verbessern.