资源库

英特尔® 高级矩阵扩展 (Intel® AMX) 通过 CPU-GPU 协同服务增强 vLLM 推理：一种利用多智能体架构Supermicro HGX B200 系统

This IBM Redbook presents a validated reference architecture for an AI infrastructure that allows KV cache to be persistently stored, shared, and reused across requests, sessions, and GPU nodes. It consists of NVIDIA Dynamo for intelligent distributed KV cache management, IBM® Storage Scale Erasure Coding Edition (ECE) as the high-performance shared storage tier, Supermicro Petascale servers as the storage and networking foundation, and NVIDIA Spectrum-X Ethernet to tie it all together with the low-latency, high-bandwidth fabric that production AI inference demands.

本解决方案简介概述了运行在以下平台上的 myrtle.ai VOLLO™ 加速堆栈的性能突破和业务价值： Supermicro AS-2015CS-TNR 服务器，正如最近发布的 STAC ML 基准测试报告中所展示的那样。

Supermicro 采用 Arm AGI CPU 的 AI 解决方案专为大规模智能 AI 编排时代而打造，可提供卓越的性能、效率和密度，从而最大限度地提高机架级部署的经济效益。 

人工智能代理的快速增长催生了对节能系统的需求，这些系统需要在预期的时间范围内交付所需结果。尽管人工智能训练一直是近期讨论的焦点，但对推理和代理工作负载日益增长的需求，要求系统具备在各种环境下运行的节能特性。代理型人工智能的兴起将需要能够协调和管理持续运行的代理的CPU。这一转折点将需要机架级密度的CPU数量显著增加，同时还要将能耗控制在当前企业数据中心的功率范围内。

NVIDIA GB300 性能。 Supermicro 创新。从桌面到数据中心。

新系统专为OCP ORv3机架设计，以提高数据中心兼容性

Supermicro X14 服务器使用户能够灵活地根据工作负载匹配系统和处理器。

介绍Supermicro的X14 支持英特尔® Xeon® 6/6+ 处理器——最新一代成熟平台，专为 AI、云、存储和 5G/边缘工作负载而设计，可实现最大性能、效率和灵活性。

高性能、高密度、高效率，采用资源节约型架构 – Supermicro SuperBlade® 和 MicroBlade® 平台旨在满足日益增长的机架级高性能需求，并具备业界领先的密度和效率。这些多节点系统在最大限度地提高计算能力的同时，最大限度地降低了功耗、布线需求和运维​​成本。

维尔达和Supermicro在欧洲的部署采用最新的NVIDIA技术，并由100%可再生能源供电。