针对大数据的 Hadoop 解决方案

Supermicro 以及 Cloudera Solutions

挑战

从结构化数据、非结构化数据到半结构化数据，不断变化的应用驱动着海量信息。传统的 IT 基础设施无法处理由社交媒体网络、移动应用程序、机器传感器和科学研究等产生的种类繁多、速度快、数量大的数据。对于企业来说，利用大数据分析不再是一个时间问题，而是一个如何利用的问题。专为经济高效地存储和处理海量数据而设计的 Hadoop 就是为此而诞生的。它可以线性扩展到数千台服务器和 PB 级存储空间。

如何利用Hadoop技术获得竞争优势是几乎所有企业首席信息官（CIO）都在思考的问题。对于企业而言，如何高效部署Hadoop基础设施意味着在激烈的市场份额争夺战中成败的关键。部署Hadoop解决方案的企业通常会花费大量资源来寻找最佳架构和最优秀的解决方案提供商。而这正是…… Supermicro 进来帮忙。

解决方案

介绍Supermicro Hadoop 集群是一系列优化的大数据解决方案，可提供高性能、高可靠性和高可扩展性。 Supermicro Hadoop解决方案是完全集成、完全优化和经过全面测试的交钥匙集群，并提供灵活的支持包以满足客户的特定需求。

Supermicro Hadoop 集群采用业界领先的高密度计算和存储服务器，这些服务器配备了经过广泛工程设计、验证和测试精心挑选的顶级组件。经过认证的配置让您无需猜测即可设计和部署真正可扩展的大数据计算和存储基础设施，满足最严苛的企业 IT 和数据中心环境的需求。

Supermicro 优势

  • 从头开始设计，采用最佳服务器和集群配置，可满足各种工作负载的需求
  • 基于广泛的实验室测试和大规模生产部署的成熟解决方案
  • 利用行业领先的服务器和存储平台，实现最佳性价比和最高性价比容量
  • 端到端交钥匙 Hadoop 集群，提供完全集成的硬件、软件和全球支持
  • 基于 SkyLake CPU、SAS3、NVMe 和 Optane 硬盘等最新技术的先进架构 
  • 双通道 10GbE / 25GbE / 40GbE / 100GbE 选件增强了网络性能和冗余能力
  • 全集群自动测试保证了构建质量和交付进度

完全集成的 Hadoop 集群

主要特点和优势

  • 专为容量、计算或 IO 性能而优化的集群配置
  • 高可用性名称节点设计，无单点故障
  • 专为 Spark 和其他内存内、低延迟计算设计的大内存选件
  • Hyper服务器平台专为超大规模部署而设计
  • 高密度计算、存储和内存设计，实现最佳效率和最低总体拥有成本
  • 灵活的网络交换机选项，每个机架可配置 1 或 2x 10G / 25G / 100G 交换机。
  • 经济高效的 14U 机架设计，是概念验证测试环境的理想选择
  • 标准 42U 机架设计和灵活的 PDU 选件可满足任何数据中心环境的需求
  • 高达钛级 (96%+) 效率 - 配备 PMBus 的冗余电源
  • 内置 IPMI 和 SMC OOB（带外管理）套件，用于自动集群管理
  • 与您选择的 Hadoop 发行版完全集成、完全配置和完全测试
  • 概念验证测试集群可提供无风险购买体验
Supermicro 完全集成的Hadoop集群解决方案机架
  • 1 或 2x 48 端口 10G SFP+ / 10GBase-T / 25GbE
    1 或 2x 32 端口 100GbE，1x 48 端口交换机，GbE
  • 1x 管理节点 1U UP Skylake 41xx / 51xx
  • 3x 名称节点 1U DPXeon Skylake 41xx / 51xx / 61xx
  • 优化数据节点 2U SSG、2U BigTwin 或 4U FatTwin，配备 Skylake 41xx / 51xx / 61xx / 81xx 处理器，每个节点双通道 10G / 25G / 40G，2.5 英寸和 3.5 英寸硬盘可选
  • 标准 42U 机架，配有计量 PDU，可提供机架定制选项
  • 集成服务包括完整的集群预烧和测试、BIOS 和 FW 更新、网络配置、预装所选的 Hadoop 发行版以及完整的集群

Hadoop 集群技术规格

 高容量IO 优化高密度计算平衡
型号 SKUSRS-HCSG18-HADP-01SRS-IODBT32-HADP-01SRS-HDFT36-HADP-01SRS-BLSG37-HADP-01
数据节点SSG-6029P-E1CR24LSYS-2029BT-HNRSYS-F629P3-RC0BSSG-6019P-ACR12L
数据节点（数量）18323637
外形尺寸2USuperStorage2U BigTwin4U FatTwin1USuperStorage
2x SKL 4114 2P 10C/20T 2.2G 85W2x SKL 5118 4/2P 12C/24T 2.3G 105W2x SKL 6130 4/2P 16C/32T 2.1G 125W2x SKL 5118 4/2P 12C/24T 2.3G 105W
128GB192GB256GB128GB
24 个 3.5 英寸海湾6 舱口 2.5 英寸8 海湾 3.5"12 海湾 3.5"
总数据驱动器432448 (NVMe)*288444
内核总数3607681152888
总内存2.3TB6.144TB9.2TB4.7TB
总存储量3.45PB（8TB）1.792PB（4 TB）1.15PB (4TB)2.66PB（6TB）
名称 节点3x 1UWIO3x 1UWIO3x 1UWIO3x 1UWIO
开关1x 48PT 25GBase-T2x 32PT 40G1x 48PT GbE1x 48PT10G SFP+
机柜（宽 x 高 x 深）42U
23.5 x 82.4 x 48
PDU2x 50A 208 3 相计量 PDU
*ADD 32 Bay 2.5" 硬盘 x8 JBOF = 256 NVMe

服务器规格

SSG-6029P-E1CR24L
SSG-6029P-E1CR24L
  • Corporate Database, Database Processing & Storage, Enterprise Server, HPC, Data Center, iSCSI SAN
  • Dual Socket P (LGA 3647) support: Intel® Xeon® Scalable processors; 3 UPI up to 10.4GT/s
  • 24 DIMM slots; up to 3TB ECC 3DS LRDIMM or RDIMM DDR4 2400MHz
  • 24 Hot-swap 3.5" SAS3/SATA3 drive bays, 2 Hot-swap 2.5" drive bays (rear); SAS3 via Broadcom 3008 AOC
  • 2 PCI-E 3.0 x16 and 1 PCI-E 3.0 x8 slots
  • 1 Dedicated IPMI port
  • 1 VGA, 1 COM, 2 USB 3.0, 1 Type A
  • 5 Hot-swap 80mm redundant PWM cooling fans
  • 1600W Redundant Titanium Level (96%) Power Supplies
SYS-2029BT-HNR
SYS-2029BT-HNR
  • 4 DP nodes in 2U; depth 28.5", Each Node:
  • Dual Socket P (LGA 3647) support: Intel® Xeon® Scalable processors; dual UPI up to 10.4GT/s
  • 24 DIMMs; up to 3TB ECC 3DS LRDIMM or RDIMM DDR4‑2666MHz
  • 6 Hot-swap 2.5" NVMe drive bays per node
  • 2 PCI-E 3.0 x16 Low-profile slots, 1 Networking SIOM card support
  • 1 Dedicated IPMI port, 1 VGA, 2 USB 3.0, 1 SuperDOM
  • 4 heavy duty 80mm fans w/ optimal fan speed control
  • 2200W Redundant Titanium Level (96%) Power Supplies
SYS-F629P3-RC0B
SYS-F629P3-RC0B
  • FatTwin™ Server; EACH NODE (x4 Hot-plug System Nodes):
  • Dual Socket P (LGA 3647) support: Intel® Xeon® Scalable processors; dual UPI up to 10.4GT/s
  • 12 DIMMs; up to 1.5TB ECC 3DS LRDIMM, up to DDR4‑2666MHz
  • 8x 3.5" SAS3 or 6 SAS3 + 2 opt. NVMe U.2; SAS3 with Broadcom 3008
  • 1 PCI-E 3.0 x16 (LP), 1 PCI-E 3.0 x16 (SIOM: flexible network opt.)
  • 1 Dedicated IPMI port, 1 VGA, 2 USB 3.0, 1 M.2 support
  • 2x 8cm 14k RPM middle fans
  • 1200W Redundant Titanium Level (96%) Power Supplies
SSG-6019P-ACR12L
SSG-6019P-ACR12L
  • High Density Storage, Object Storage 1U, Ceph / Hadoop, Scale-out Storage, Big Data Analytics
  • Dual Socket P (LGA 3647) support: 2nd Gen. Intel® Xeon® Scalable processors; dual UPI up to 10.4GT/s
  • 12 Hot-swap 3.5" SAS3/SATA3 drive bays, 4 Hot-swap 2.5" NVMe/SATA drive bays
  • 12 DIMMs; up to 3TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM
  • Supports Intel® Optane™ DCPMM*
  • 2 PCI-E 3.0 x16, 1 PCI-E 3.0 x8
  • 2x 10GBase-T ports via Intel C622, 1 Dedicated IPMI port
  • 1 VGA, 4 USB 3.0, 1 TPM header
  • 6x 4cm 20.5K RPM cooling fans
  • 600W Redundant Platinum Level Power Supplies

*Contact your Supermicro sales rep for more info.

1Gb 和 10Gb 以太网交换机
1Gb 和 10Gb 以太网交换机
  • Layer 2/3 Ethernet Switching, link aggregation (LACP), Jumbo frames, VLAN support
  • Configuration Flexibility:
    • SSE-G24-TG4 - 24 ports of RJ45 1Gbps Ethernet with 4 SFP Combo ports, 4 ports 10Gbps Ethernet (CX4, XFP, or SFP+), Stacking
    • SSE-G48-TG4 - 48 ports of RJ45 1Gbps Ethernet with 4 SFP Combo ports, 4 ports 10Gbps Ethernet (CX4, XFP, or SFP+), Stacking
    • SSE-X24S / SSE-X3348S(R) - 24 ports 10Gbps Ethernet (SFP+), Reverse airflow option
  • Management: Web-based management interface, Industry standard CLI with telnet SSH or local management port, Scripting, Logging
  • Routing, Multicast:
    • Quality of service and DiffServ - 8 priority queues per port; Adjusted WRR and Strict Priority Scheduling
    • Security - 802.1x port based authentication, RADIUS and TACACS+ authentication, SSH / SSL encryption
  • Dimensions: 17.3"W x 15.2"D x 1.7"H (440mm x 386mm x 43mm)
SSE-C3632S
SSE-C3632S

/ SSE-C3632SR (32 ports)

  • 32x One-Hundred-Gigabit Ethernet ports
    (Each optionally configured for forty-gigabit or 4x twenty-five gigabit)
  • Wire-speed Layer 3 Routing
  • 1:1 Non-blocking connectivity
  • 1U form factor for flexible installation
  • Data-Center friendly - regular and reverse airflow models
  • Redundant hot-pluggable power supplies
  • Bare metal - ONIE Installed
  • Cumulus Linux Capable
IPMI 服务器管理
IPMI 服务器管理
  • HW fault alerts - E-mail or SNMP
  • Redundant access for management
  • Support for open standards (SMASH 2.0, LDAP, WSMAN)
  • VLAN support
  • KVM and Virtual Media and SOL (no additional license needed)
  • Easy maintenance (Command line flash tools for firmware update)

Supermicro 集成和概念验证实验室服务

查看详情

其他资源