WEKA 驗證構建Supermicro
AI 推理工作負載正在將傳統資料基礎設施推向極限。 Supermicro WEKA® NeuralMesh™ 提供經過驗證的解決方案。 NeuralMesh 將資料、計算和網路互連起來。 AI 在一個深受財富 50 強企業中 30% 信賴的服務型平台上。與Supermicro 它為企業、新雲端、MSP 和系統及服務提供支援。 AI 雲端供應商最大限度地利用 GPU,加快產品上市速度,降低每個代幣的成本,並縮短從首次部署到前沿規模生產的首次代幣交付時間。
WEKA 和Supermicro 優勢
在加快產品上市速度的同時,盡量利用 GPU 資源
GPU 處於空閒狀態——等待資料——硬碟 成本增加且代幣輸出速度慢。 NeuralMesh 提供了一個共享的分散式資料層,速度比本地資料層更快。 NVMe維持GPU高效運作。
- 更高的GPU利用率
- 降低代幣成本
- 吞吐量提高
- 更快的上市時間
大幅降低每個代幣的成本
WEKA 的增強記憶網格™(Augmented Memory Grid™)基於 NeuralMesh™,可大幅降低大規模推理成本:
- 上下文記憶的令牌處理速度提高了 4-10 倍/秒
- 讀取速度超過 320 GB/s • 寫入速度超過 150 GB/s
- 在相同的GPU佔用空間下,代幣產量提升6.5倍。
突破性的推理速度-首次令牌生成時間
WEKA 的 AMG on NeuralMesh™ 透過重複使用快取上下文,可將首次令牌獲取速度提升 4-20 倍,從而消除冗餘的預填充上下文。 windows 生長。
- 快點AI 實際負載下的代理回應
- 同一基礎架構上可同時使用更多用戶
- 規模化下的穩定性能
增強記憶體網格™-突破GPU記憶體瓶頸
WEKA 的增強記憶體網格透過高速令牌倉庫™擴展了 GPU 記憶體——透過 NVIDIA GPUDirect® Storage、RDMA 和NVMe 。
- 微秒延遲
- 大規模並行吞吐量
- 艾字節級記憶體結構
資源
