資源庫

英特爾® 高階矩陣擴充 (Intel® AMX) 增強 vLLM推論 透過CPU -GPU協同服務：一種利用GPU的多智能體架構Supermicro HGX B200 系統

This IBM Redbook presents a validated reference architecture for an AI infrastructure that allows KV cache to be persistently stored, shared, and reused across requests, sessions, and GPU nodes. It consists of NVIDIA Dynamo for intelligent distributed KV cache management, IBM® Storage Scale Erasure Coding Edition (ECE) as the high-performance shared storage tier, Supermicro Petascale servers as the storage and networking foundation, and NVIDIA Spectrum-X Ethernet to tie it all together with the low-latency, high-bandwidth fabric that production AI inference demands.

本解決方案簡介概述了桃金孃的性能突破和商業價值。 ai VOLLO™ 加速堆疊運作在Supermicro AS-2015CS-TNR 伺服器，正如最近發布的 STAC ML 基準測試報告中所展示的那樣。

Supermicro AI 採用 Arm AGI CPU 的解決方案是為大規模智能體時代而建構的。 AI 透過協調、提供性能、效率和密度，最大限度地提高機架級部署的經濟效益。 

迅速擴散AI 代理商的需求催生了對節能係統的需求，這些系統需要在預期的時間範圍內達到所需的效果。 AI 培訓一直是近期討論的焦點，對培訓的需求日益增長。推論 智能體工作負載需要能夠在各種環境下運作的節能係統。智能體的興起AI 這將需要能夠協調和管理持續運行代理程式的CPU。這個轉折點將需要機架級密度顯著增加的CPU數量，同時也將能耗控制在目前企業資料中心的功率範圍內。

NVIDIA GB300 效能。 Supermicro 創新。從桌面到資料中心。

新系統專為OCP ORv3機架設計，以提高資料中心相容性

Supermicro X14 伺服器使用戶能夠靈活地根據工作負載匹配系統和處理器。

介紹Supermicro的X14 支援英特爾® Xeon® 6/6+ 處理器－最新一代成熟平台，旨在實現最高的效能、效率和靈活性。 AI雲端、儲存和 5G/邊緣工作負載。

高效能、高密度、高效率，採用資源節約型架構 – Supermicro SuperBlade® 和 MicroBlade® 平台旨在滿足日益增長的機架級高性能需求，並具備業界領先的密度和效率。這些多節點系統在最大限度地提高運算能力的同時，最大限度地降低了功耗、佈線需求和運維成本。

維爾達和Supermicro在歐洲的部署採用最新的NVIDIA技術，並由100%再生能源供電。