WEKA 驗證架構在 Supermicro 上
AI 與推論工作負載正將傳統資料基礎設施推向極限。Supermicro 與 WEKA® NeuralMesh™ 提供經實證的解答。NeuralMesh 將資料、運算與 AI 互連至一個以服務為導向的平台,深受 30% 的《財富》世界 500 強企業信賴。結合 Supermicro 的系統與服務,它能協助企業、Neoclouds、MSP 與 AI 雲端服務供應商最大化 GPU 利用率、加速上市時程、降低每個 Token 的成本,並改善首個 Token 生成時間——從首次部署到前瞻規模的生產作業。
WEKA 與 Supermicro 優勢
最大化 GPU 利用率並加速上市時間
GPU 閒置(等待資料)會拉高成本並降低 Token 產出。NeuralMesh 提供比本地 NVMe 更快的共用分散式資料層,確保 GPU 保持高效運作。
- 更高的 GPU 利用率
- 降低每個 token 的成本
- 提高產出量
- 更快的上市時間
大幅降低每個 token 的成本
WEKA 位於 NeuralMesh™ 上的 Augmented Memory Grid™ 大幅降低大規模推論成本:
- 上下文記憶體享有 4–10 倍的 tokens/sec 效能
- 320+ GB/s 讀取 • 150+ GB/s 寫入產出量
- 在相同的 GPU 佔用空間下,token 產出量增加 6.5 倍
突破性的推論速度 — 首個 token 生成時間
WEKA 位於 NeuralMesh™ 上的 AMG 透過重複使用快取上下文,實現最高達 4–20 倍的更快首個 Token 生成時間——隨著上下文視窗增長,消除了冗餘的預填充作業。
- 在實際負載下實現更快的 AI 代理回應
- 在相同的基礎設施上支援更多同時使用者
- 大規模下維持一致的效能
Augmented Memory Grid™ ——解決 GPU 記憶體牆
WEKA 的 Augmented Memory Grid 透過高速 Token Warehouse™ 擴充 GPU 記憶體——透過 NVIDIA GPUDirect® Storage、RDMA 與 NVMe 在百億億次(exabyte)規模下提供持續性儲存與微秒級檢索。
- 微秒級延遲
- 龐大的平行產出量
- 艾位元規模的記憶體結構
資源
