WEKA Validated は以下に基づいていますSupermicro
AI そして推論 ワークロードの増加により、従来のデータインフラは限界を超えつつある。 Supermicro WEKA® NeuralMesh™ は実績のあるソリューションを提供します。NeuralMesh はデータ、コンピューティング、 AI フォーチュン50企業の30%が信頼するサービス指向プラットフォームにおいて。 Supermicro システムとサービス、企業、Neoclouds、MSP、 AI クラウド プロバイダーは、GPUの利用率を最大化し、市場投入までの時間を短縮し、トークンあたりのコストを削減し、最初の導入から最先端規模の生産に至るまでの最初のトークン取得までの時間を短縮します。
WEKAとSupermicro アドバンテージ
GPU利用率を最大化しつつ、市場投入までの時間を短縮する
データ待ちでアイドル状態になっているGPUは、コストを押し上げ、トークン出力を遅くします。NeuralMeshは、ローカルよりも高速な共有分散データレイヤーを提供します。 NVMe GPUの生産性を維持する。
- GPU使用率の向上
- トークンあたりのコスト削減
- スループットの向上
- 市場投入までの時間を短縮
トークンあたりのコストを大幅に削減
WEKAの拡張現実メモリー Grid™ on NeuralMesh™ スラッシュ推論 規模の経済におけるコスト:
- 参考までに、トークン/秒が4~10倍多くなります。メモリー
- 読み取り速度320GB/秒以上、書き込み速度150GB/秒以上
- 同じGPUフットプリントでトークン生成量が6.5倍に増加
画期的な推論速度 ― 最初のトークン取得までの時間
WEKAのAMG on NeuralMesh™は、キャッシュされたコンテキストを再利用することで、最初のトークン取得までの時間を最大4~20倍高速化し、コンテキストとしての冗長な事前入力を排除します。 windows 育つ。
- もっと早くAI 実際の負荷下でのエージェントの応答
- 同じインフラストラクチャ上での同時接続ユーザー数の増加
- 大規模環境における一貫したパフォーマンス
拡張メモリー Grid™ — GPUの問題を解決するメモリー 壁
WEKAの拡張現実メモリー GridはGPUを拡張しますメモリー 高速トークンウェアハウス™により、NVIDIA GPUDirect®ストレージ、RDMA、およびNVMe 。
- マイクロ秒単位の遅延
- 大規模並列スループット
- エクサバイト規模メモリー ファブリック
関連資料
