WEKA 验证构建Supermicro
人工智能和推理工作负载正在使传统数据基础设施超出其极限。 Supermicro WEKA® NeuralMesh™ 提供经实践验证的解决方案。NeuralMesh 将数据、计算和人工智能互连在一个面向服务的平台中,该平台深受 30% 的财富 50 强企业的信赖。 Supermicro 它帮助企业、新云、MSP 和 AI 云提供商最大限度地利用 GPU,加快产品上市速度,降低每个代币的成本,并缩短首次代币交付时间——从首次部署到前沿规模的生产。
WEKA 和Supermicro 优势
在加快产品上市速度的同时,最大限度地利用 GPU 资源
GPU 闲置(等待数据)会增加成本并降低代币输出速度。NeuralMesh 提供了一个共享的分布式数据层,速度比本地数据层更快。 NVMe保持GPU高效运行。
- 更高的GPU利用率
- 降低每个代币的成本
- 吞吐量提高
- 更快的上市时间
大幅降低每个代币的成本
WEKA 的增强记忆网格™(Augmented Memory Grid™)基于 NeuralMesh™,可大幅降低大规模推理成本:
- 上下文记忆的令牌处理速度提高了 4-10 倍/秒
- 读取速度超过 320 GB/s • 写入速度超过 150 GB/s
- 在相同的GPU占用空间下,代币产量提升6.5倍。
突破性的推理速度——首次令牌生成时间
WEKA 的 AMG on NeuralMesh™ 通过重用缓存上下文,可将首次令牌获取速度提升 4-20 倍,从而消除冗余的预填充上下文。 windows 生长。
- 在实际负载下,AI代理响应速度更快
- 同一基础设施上可同时使用更多用户
- 规模化下的持续性能
增强型内存网格™——突破GPU内存瓶颈
WEKA 的增强内存网格通过高速令牌仓库™扩展了 GPU 内存——通过 NVIDIA GPUDirect® Storage、RDMA 和NVMe 。
- 微秒级延迟
- 大规模并行吞吐量
- 艾字节级内存结构
特色资源
