無限制上下文:面向大規模應用的高效能鍵值快取平台AI 推論
這本 IBM 紅皮書提供了一個經過驗證的參考架構。 AI 此基礎架構允許鍵值快取持久性儲存、共享和跨請求、會話和 GPU 節點重複使用。它由用於智慧型分散式鍵值快取的 NVIDIA Dynamo 組成。管理功能IBM® Storage Scale Erasure Coding Edition (ECE) 作為高效能共用儲存層, Supermicro Petascale 伺服器作為儲存和網路基礎,NVIDIA Spectrum-X 乙太網路則將所有元件透過低延遲、高頻寬的網路架構連接起來,從而實現生產環境的穩定運作。 AI 推論 需求。





