无限制上下文:面向大规模人工智能推理的高性能键值缓存平台
这本 IBM 红皮书介绍了一种经过验证的 AI 基础架构参考架构,该架构允许跨请求、会话和 GPU 节点持久存储、共享和重用键值缓存。它包含用于智能分布式键值缓存管理的 NVIDIA Dynamo,以及作为高性能共享存储层的 IBM® Storage Scale Erasure Coding Edition (ECE)。 Supermicro Petascale 服务器作为存储和网络基础,NVIDIA Spectrum-X 以太网将所有组件连接起来,提供生产 AI 推理所需的低延迟、高带宽架构。




