针对大数据的 Hadoop 解决方案

Supermicro 以及 Cloudera Solutions

挑战

从结构化数据、非结构化数据到半结构化数据，不断变化的应用驱动着海量信息。传统的 IT 基础设施无法处理由社交媒体网络、移动应用程序、机器传感器和科学研究等产生的种类繁多、速度快、数量大的数据。对于企业来说，利用大数据分析不再是一个时间问题，而是一个如何利用的问题。专为经济高效地存储和处理海量数据而设计的 Hadoop 就是为此而诞生的。它可以线性扩展到数千台服务器和 PB 级存储空间。

如何利用Hadoop技术获得竞争优势是几乎所有企业首席信息官（CIO）都在思考的问题。对于企业而言，如何高效部署Hadoop基础设施意味着在激烈的市场份额争夺战中成败的关键。部署Hadoop解决方案的企业通常会花费大量资源来寻找最佳架构和最优秀的解决方案提供商。而这正是…… Supermicro 进来帮忙。

解决方案

介绍Supermicro Hadoop 集群是一系列优化的大数据解决方案，可提供高性能、高可靠性和高可扩展性。 Supermicro Hadoop解决方案是完全集成、完全优化和经过全面测试的交钥匙集群，并提供灵活的支持包以满足客户的特定需求。

Supermicro Hadoop 集群采用业界领先的高密度计算和存储服务器，这些服务器配备了经过广泛工程设计、验证和测试精心挑选的顶级组件。经过认证的配置让您无需猜测即可设计和部署真正可扩展的大数据计算和存储基础设施，满足最严苛的企业 IT 和数据中心环境的需求。

Supermicro 优势

  • 从头开始设计，采用最佳服务器和集群配置，可满足各种工作负载的需求
  • 基于广泛的实验室测试和大规模生产部署的成熟解决方案
  • 利用行业领先的服务器和存储平台，实现最佳性价比和最高性价比容量
  • 端到端交钥匙 Hadoop 集群，提供完全集成的硬件、软件和全球支持
  • 基于 SkyLake CPU、SAS3、NVMe 和 Optane 硬盘等最新技术的先进架构 
  • 双通道 10GbE / 25GbE / 40GbE / 100GbE 选件增强了网络性能和冗余能力
  • 全集群自动测试保证了构建质量和交付进度

完全集成的 Hadoop 集群

主要特点和优势

  • 专为容量、计算或 IO 性能而优化的集群配置
  • 高可用性名称节点设计，无单点故障
  • 专为 Spark 和其他内存内、低延迟计算设计的大内存选件
  • Hyper服务器平台专为超大规模部署而设计
  • 高密度计算、存储和内存设计，实现最佳效率和最低总体拥有成本
  • 灵活的网络交换机选项，每个机架可配置 1 或 2x 10G / 25G / 100G 交换机。
  • 经济高效的 14U 机架设计，是概念验证测试环境的理想选择
  • 标准 42U 机架设计和灵活的 PDU 选件可满足任何数据中心环境的需求
  • 高达钛级 (96%+) 效率 - 配备 PMBus 的冗余电源
  • 内置 IPMI 和 SMC OOB（带外管理）套件，用于自动集群管理
  • 与您选择的 Hadoop 发行版完全集成、完全配置和完全测试
  • 概念验证测试集群可提供无风险购买体验
Supermicro 完全集成的Hadoop集群解决方案机架
  • 1 或 2x 48 端口 10G SFP+ / 10GBase-T / 25GbE
    1 或 2x 32 端口 100GbE，1x 48 端口交换机，GbE
  • 1x 管理节点 1U UP Skylake 41xx / 51xx
  • 3x 名称节点 1U DPXeon Skylake 41xx / 51xx / 61xx
  • 优化数据节点 2U SSG、2U BigTwin 或 4U FatTwin，配备 Skylake 41xx / 51xx / 61xx / 81xx 处理器，每个节点双通道 10G / 25G / 40G，2.5 英寸和 3.5 英寸硬盘可选
  • 标准 42U 机架，配有计量 PDU，可提供机架定制选项
  • 集成服务包括完整的集群预烧和测试、BIOS 和 FW 更新、网络配置、预装所选的 Hadoop 发行版以及完整的集群

Hadoop 集群技术规格

 高容量IO 优化高密度计算平衡
型号 SKUSRS-HCSG18-HADP-01SRS-IODBT32-HADP-01SRS-HDFT36-HADP-01SRS-BLSG37-HADP-01
数据节点SSG-6029P-E1CR24LSYS-2029BT-HNRSYS-F629P3-RC0BSSG-6019P-ACR12L
数据节点（数量）18323637
外形尺寸2USuperStorage2U BigTwin4U FatTwin1USuperStorage
2x SKL 4114 2P 10C/20T 2.2G 85W2x SKL 5118 4/2P 12C/24T 2.3G 105W2x SKL 6130 4/2P 16C/32T 2.1G 125W2x SKL 5118 4/2P 12C/24T 2.3G 105W
128GB192GB256GB128GB
24 个 3.5 英寸海湾6 舱口 2.5 英寸8 海湾 3.5"12 海湾 3.5"
总数据驱动器432448 (NVMe)*288444
内核总数3607681152888
总内存2.3TB6.144TB9.2TB4.7TB
总存储量3.45PB（8TB）1.792PB（4 TB）1.15PB (4TB)2.66PB（6TB）
名称 节点3x 1UWIO3x 1UWIO3x 1UWIO3x 1UWIO
开关1x 48PT 25GBase-T2x 32PT 40G1x 48PT GbE1x 48PT10G SFP+
机柜（宽 x 高 x 深）42U
23.5 x 82.4 x 48
PDU2x 50A 208 3 相计量 PDU
*ADD 32 Bay 2.5" 硬盘 x8 JBOF = 256 NVMe

服务器规格

SSG-6029P-E1CR24L
SSG-6029P-E1CR24L
  • 企业数据库、数据库处理和存储、企业服务器、高性能计算、数据中心、iSCSI SAN
  • 支持双插槽 P (LGA 3647)：英特尔®至强®可扩展处理器；3 UPI，速度高达 10.4GT/s
  • 24 个 DIMM 插槽；最多 3TB ECC 3DS LRDIMM 或 RDIMM DDR4 2400MHz
  • 24 个热插拔 3.5 英寸 SAS3/SATA3 驱动器托架，2 个热插拔 2.5 英寸驱动器托架（后部）；通过 Broadcom 3008 AOC 实现 SAS3
  • 2 个 PCI-E 3.0 x16 插槽和 1 个 PCI-E 3.0 x8 插槽
  • 1 个专用 IPMI 端口
  • 1 个 VGA，1 个 COM，2 个 USB 3.0，1 个 A 型
  • 5 个热插拔 80 毫米冗余 PWM 冷却风扇
  • 1600 瓦冗余钛级（96%）电源
SYS-2029BT-HNR
SYS-2029BT-HNR
  • 4 个 DP 节点，2U；深度 28.5"，每个节点：
  • 支持双插槽 P（LGA 3647）：Intel® Xeon® Scalable 处理器；双 UPI，速度高达 10.4GT/s
  • 24 个 DIMM；最多 3TB ECC 3DS LRDIMM 或 RDIMM DDR4-2666MHz
  • 每个节点 6 个热插拔 2.5" NVMe 驱动器托架
  • 2 个 PCI-E 3.0 x16 扁平插槽，支持 1 个网络 SIOM 卡
  • 1 个专用 IPMI 端口、1 个 VGA、2 个 USB 3.0、1 个 SuperDOM
  • 4 个重型 80mm 风扇，带最佳风扇转速控制
  • 2200 瓦冗余钛级（96%）电源
SYS-F629P3-RC0B
SYS-F629P3-RC0B
  • FatTwin™ 服务器；每个节点（x4 热插拔系统节点）：
  • 支持双插槽 P（LGA 3647）：Intel® Xeon® Scalable 处理器；双 UPI，速度高达 10.4GT/s
  • 12 个 DIMM；最高 1.5TB ECC 3DS LRDIMM，最高 DDR4-2666MHz
  • 8x 3.5" SAS3 或 6 SAS3 + 2 选项。NVMe U.2；配备 Broadcom 3008 的 SAS3
  • 1 个 PCI-E 3.0 x16 (LP)，1 个 PCI-E 3.0 x16 (SIOM：灵活网络选项)
  • 1 个专用 IPMI 端口、1 个 VGA、2 个 USB 3.0、1 个 M.2 支持
  • 2x 8 厘米 14k RPM 中间风扇
  • 1200 瓦冗余钛级（96%）电源
SSG-6019P-ACR12L
SSG-6019P-ACR12L
  • 高密度存储、1U 对象存储、Ceph / Hadoop、横向扩展存储、大数据分析
  • 支持双插槽 P (LGA 3647)：第 2 代 Intel® Xeon® Scalable 处理器；双 UPI，速度高达 10.4GT/s
  • 12 个热插拔 3.5 英寸 SAS3/SATA3 驱动器托架，4 个热插拔 2.5 英寸 NVMe/SATA 驱动器托架
  • 12 个 DIMM；最多 3TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM
  • 支持 Intel® Optane™ DCPMM*
  • 2 个 PCI-E 3.0 x16、1 个 PCI-E 3.0 x8
  • 2 个 10GBase-T 端口（通过 Intel C622），1 个专用 IPMI 端口
  • 1 个 VGA、4 个 USB 3.0、1 个 TPM 接头
  • 6 个 4 厘米 20.5K RPM 冷却风扇
  • 600 瓦冗余白金级电源

*联系您的Supermicro 联系销售人员了解更多信息。

1Gb 和 10Gb 以太网交换机
1Gb 和 10Gb 以太网交换机
  • 第 2/3 层以太网交换、链路聚合 (LACP)、巨型帧、VLAN 支持
  • 配置灵活：
    • SSE-G24-TG4- 24 个 RJ45 1Gbps 以太网端口（含 4 个 SFP 光电复合端口），4 个 10Gbps 以太网端口（CX4、XFP 或 SFP+），堆叠功能
    • SSE-G48-TG4- 48 个 RJ45 1Gbps 以太网端口（带 4 个 SFP 组合端口），4 个 10Gbps 以太网端口（CX4、XFP 或 SFP+），堆叠
    • SSE-X24S/SSE-X3348S(R)- 24 个端口 10Gbps 以太网（SFP+），反向气流选项
  • 管理：基于 Web 的管理界面、带 telnet SSH 或本地管理端口的行业标准 CLI、脚本、日志记录
  • 路由，组播
    • 服务质量和 DiffServ- 每个端口 8 个优先队列；调整后的 WRR 和严格优先级调度
    • 安全性- 基于端口的 802.1x 验证、RADIUS 和 TACACS+ 验证、SSH/SSL 加密
  • 尺寸17.3 "W x 15.2 "D x 1.7 "H (440mm x 386mm x 43mm)
SSE-C3632S
SSE-C3632S

/SSE-C3632SR（32 个端口）

  • 32 个百兆以太网端口
    （每个端口可选择配置为 40 千兆位或 4x 25 千兆位）
  • 线速第 3 层路由
  • 1:1 无阻塞连接
  • 1U 外形尺寸，安装灵活
  • 数据中心友好型--常规和反向气流型号
  • 冗余热插拔电源
  • 裸机 - 已安装 ONIE
  • 支持 Cumulus Linux
IPMI 服务器管理
IPMI 服务器管理
  • 硬件故障警报 - 电子邮件或 SNMP
  • 冗余管理访问
  • 支持开放标准（SMASH 2.0、LDAP、WSMAN）
  • 支持 VLAN
  • KVM 和虚拟媒体及 SOL（无需额外许可证）
  • 易于维护（用于固件更新的命令行闪存工具）

Supermicro 集成和概念验证实验室服务

查看详情

其他资源