HDFS存储集群
介绍
HDFS存储集群是UHadoop产品集群种类之一,所有节点仅部署HDFS,不部署YARN等计算框架。
HDFS存储集群目前是项目级别的共享集群,即同一项目中多个计算集群可以与同一HDFS集群通信。存储计算分离后,可以实现计算集群的灵活性,以及数据存储的稳定性。
应用场景
- 存储计算分离
数据存储与任务计算分离后,计算集群可以按需增删节点,无需担心临时的大规模扩容带来的成本飙升。若计算集群有故障,也不会直接影响独立的HDFS集群中的数据,故障排查的流程也可以被缩短,降低了集群运维成本。
* 存储计算分离优势:
* 计算资源按照业务做物理隔离,避免相互影响
* 可以单独使用存储资源
* 计算框架升级方便
* 更加弹性便宜,计算完成即可释放计算资源
- 离线业务与在线业务隔离
若计算和存储在同一集群,则会存在实时计算与离线计算抢占计算资源的情况,可能对在线业务有一定的影响。若将离线计算与实时计算拆分成两个计算集群,然后访问独立的HDFS存储集群,则可以有效地做到计算资源的隔离。
- 数据共享
多个计算集群共用一个存储集群,可在降低成本的同时避免数据在不同的Hadoop集群之间做迁移,另外也可以满足业务计算资源做物理隔离,避免相互影响。
- 文件存储
可以方便的只利用hdfs存储集群对文件进行归档存储,使用简单、价格便宜。
HDFS存储集群创建流程
- 控制台点击【创建集群】按钮,打开集群设置页面后选择【HDFS框架】。
- 选择core节点具体机型,\
系列的机型单盘为4TB,\ 系列的机型单盘为8TB。UHADOOP系列的机型为没做虚拟化的物理机,目前带宽为10Gbps,计划8月上线25Gbps的物理机机型。
- HDFS存储集群创建完成后,待集群状态为\<运行>时,可以创建计算集群。打开集群设置页面后,选择【计算框架】。在【集群种类】中按需选择集群中的服务与组件,未在创建时开启的服务后面也可在控制台再次开启。
- 【集群存储】中可以看到项目中已有的Hadoop集群或者HDFS集群,按需选择计算集群的数据存储集群。
HDFS集群与普通集群价格对比
由于同系列机型配置与价格几乎是线性变化,所以下表只比较每种机型的最低配置价格。 D1、D2 系列机型为普通 UHadoop 机型,HDFS、HDFS.IO 系列机型为 HDFS 存储集群专用机型。
节点类型 | 机型 | 名称 | CPU | 内存(G) | 硬盘(G) | 北京二E价格(元/月) | 国内其他可用区价格(元/月) |
Core | 密集存储实例 | D1-large | 2 | 6 | 4000(SATA) | 498 | 498 |
Core | HDFS存储实例 | HDFS.IO-large | 2 | 4 | 4000(SATA) | 351 | 351 |
Core | 密集存储II型实例 | D2-large | 2 | 6 | 8000(SATA) | 568 | 568 |
Core | HDFS存储II型实例 | HDFS-large | 2 | 4 | 8000(SATA) | 467 | 467 |