HDFS存储集群

介绍

HDFS存储集群是UHadoop产品集群种类之一,所有节点仅部署HDFS,不部署YARN等计算框架。

HDFS存储集群目前是项目级别的共享集群,即同一项目中多个计算集群可以与同一HDFS集群通信。存储计算分离后,可以实现计算集群的灵活性,以及数据存储的稳定性。

应用场景

  • 存储计算分离

数据存储与任务计算分离后,计算集群可以按需增删节点,无需担心临时的大规模扩容带来的成本飙升。若计算集群有故障,也不会直接影响独立的HDFS集群中的数据,故障排查的流程也可以被缩短,降低了集群运维成本。

* 存储计算分离优势:

* 计算资源按照业务做物理隔离,避免相互影响 * 可以单独使用存储资源 * 计算框架升级方便 * 更加弹性便宜,计算完成即可释放计算资源

  • 离线业务与在线业务隔离

若计算和存储在同一集群,则会存在实时计算与离线计算抢占计算资源的情况,可能对在线业务有一定的影响。若将离线计算与实时计算拆分成两个计算集群,然后访问独立的HDFS存储集群,则可以有效地做到计算资源的隔离。

  • 数据共享

多个计算集群共用一个存储集群,可在降低成本的同时避免数据在不同的Hadoop集群之间做迁移,另外也可以满足业务计算资源做物理隔离,避免相互影响。

  • 文件存储

可以方便的只利用hdfs存储集群对文件进行归档存储,使用简单、价格便宜。

HDFS存储集群创建流程

  1. 控制台点击【创建集群】按钮,打开集群设置页面后选择【HDFS框架】。

  1. 选择core节点具体机型,\系列的机型单盘为4TB,\系列的机型单盘为8TB。UHADOOP系列的机型为没做虚拟化的物理机,目前带宽为10Gbps,计划8月上线25Gbps的物理机机型。

  1. HDFS存储集群创建完成后,待集群状态为\<运行>时,可以创建计算集群。打开集群设置页面后,选择【计算框架】。在【集群种类】中按需选择集群中的服务与组件,未在创建时开启的服务后面也可在控制台再次开启。

  1. 【集群存储】中可以看到项目中已有的Hadoop集群或者HDFS集群,按需选择计算集群的数据存储集群。

HDFS集群与普通集群价格对比

由于同系列机型配置与价格几乎是线性变化,所以下表只比较每种机型的最低配置价格。 D1、D2 系列机型为普通 UHadoop 机型,HDFS、HDFS.IO 系列机型为 HDFS 存储集群专用机型。

节点类型 机型 名称 CPU 内存(G) 硬盘(G) 北京二E价格(元/月) 国内其他可用区价格(元/月)
Core 密集存储实例 D1-large 2 6 4000(SATA) 498 498
Core HDFS存储实例 HDFS.IO-large 2 4 4000(SATA) 351 351
Core 密集存储II型实例 D2-large 2 6 8000(SATA) 568 568
Core HDFS存储II型实例 HDFS-large 2 4 8000(SATA) 467 467