跳至內容

Spark、Hadoop、資料流、資料工程解決方案AI

Supermicro 以及 Cloudera Solutions

挑戰

不斷變化的應用程式驅動了大量資訊,從結構化、非結構化到半結構化資料。傳統的 IT 基礎架構無法處理社交媒體網路、行動應用程式、機器感測器和科學研究等所產生的資料種類、速度和數量。對於企業而言,運用大數據分析已不再是何時的問題,而是如何運用的問題。Spark、Hadoop 及其他開放原始碼軟體,專為低成本儲存及處理大量資料而設計,正是為此目的而誕生。它可以線性擴充至上千台伺服器和 PB 級的儲存空間。

Cloudera 整合了這些開源技術,並提供企業級支持,幫助客戶從海量資料中獲得競爭優勢。為此,Cloudera 部署在可擴展的伺服器叢集中。 Supermicro Cloudera 叢集部署透過可靠的系統簡化,這些系統既支援帶內管理也支援帶外管理,並提供多種系統平台選擇,以適應客戶的資料中心。

解決方案和Supermicro 優勢

Supermicro 伺服器叢集支援 Cloudera 雲端資料平台 (CDP),並簡化了部署。

  • 系統選擇:客戶可以選擇最佳的硬體平台來建立群集
    • 機架式CloudDC / Hyper 系統或多節點孿生伺服器,或Blade 伺服器
    • 選擇CPU 架構,無論是英特爾或AMD 企業級CPU
    • 為 Spark 加速等應用選擇 GPU 加速器
    • 從 HDD 到 SSD 再到 NVMe 硬碟機的磁碟選擇
    • 可選擇的網路架構、10 GbE 至 400 GbE 選項
    • 全部由同一個IPMI管理/ Redfish 介面,並且可以透過單面板進行聚合。 Supermicro Cloud Composer
    • 許多部署工作都可以使用自動化方式完成。 Supermicro 超級雲端編排器
  • 實作選擇:客戶可在裸機實作、Red Hat OpenShift、Kubernetes 或虛擬機器實作上進行部署。
  • 可擴充性:客戶可以從最小的群集開始,然後透過增加伺服器來擴充。
  • 自動化: Supermicro 可以建置集群,經過全面測試,確保建置品質和交付進度。軟體實作可以使用自動化功能進行部署。 Supermicro 雲編排器

完全整合的 Cloudera CDP 集群範例

主要特點和優勢:

  • 專為容量、運算或 I/O 效能最佳化的叢集配置
  • 選擇英特爾Xeon 可擴展的或AMD EPYC CPU-建議使用相同的型號。 CPU 整個集群的架構
  • 高可用性名稱節點設計,無單點故障
  • 專為 Spark 和其他記憶體內低延遲計算而設計的大容量記憶體選項
  • Hyper -專為超大規模部署而設計的可擴展伺服器平台
  • 高密度運算、儲存和記憶體設計,以實現最佳效率和最低成本TCO
  • 靈活的網路交換器選項,每個機架可配置 1 或 2 個 10G / 25G / 100G 或更高速的交換器。
  • 經濟高效的 14U 機架設計,是概念驗證測試環境的理想選擇
  • 標準 42U 機架設計和靈活的 PDU 選項,可滿足任何資料中心環境的需求。
  • 最高可達鈦金級(96%+)效率 - 採用 PMBus 的冗餘電源
  • 內建 IPMI 和 SMC OOB(外帶管理)套件,用於自動化叢集管理
  • 與您選擇的 Hadoop 發行版完全整合、完全配置並經過全面測試。
  • 概念驗證測試群集可供使用,提供無風險購買體驗
  • Cloudera 企業支援,授權自 Cloudera
Supermicro 完全整合的Hadoop集群解決方案機架
  • 1 或 2 個 48 埠 10G SFP+ / 10GBase-T / 25GbE
    1 或 2 台 32 埠 100GbE 交換機,1 台 48 埠交換機,千兆乙太網路
  • 1x 管理節點 1U IntelXeon Scalable 或AMD EPYC CPU
  • 3x 名稱節點 1U DP IntelXeon Scalable 或AMD EPYC CPU
  • 最佳化資料節點 2U SSG、2U BigTwin 或 4U FatTwin® 配備 IntelXeon Scalable 或AMD EPYC CPU
  • 標準 42U 機架,附計量型 PDU,提供機架客製選項
  • 整合服務包括完整的群集燒機與測試、BIOS 與 FW 更新、網路組態、預先安裝 Cloudera CDP 所選的發行版,以及完整的群集
Supermicro 伺服器

Supermicro 用於裸機或 Kubernetes 部署的伺服器

1UCloudDC 伺服器

多節點 GrandTwin® 伺服器

Supermicro 用於 VMware 部署或使用 GPU 的伺服器

2UHyper 伺服器