NEWS INFORMATION

新闻资讯

Hadoop之NameNode Federation图文详解

作者:admin 发布时间:2019-12-07

namespace的约束

因为陈小春演唱会菲律宾namenode在内存中存储一切的元数据,因而单个namenode所能存储的目标数目遭到namenode地点jvm的heap size的约束。50g的heap可以存储20亿个目标,这20亿个目标支撑4000个datanode,12pb的存储。跟着数据的飞速增加,存储的需求也随之增加。单个datanode从4t增加到36t,集群的尺度增加到8000个datanode。存储的需求从12pb增加到大于100pb。

阻隔问题

因为hdfs仅有一个namenode,无法阻隔各个程序,因而hdfs上的一个试验程序就很有或许影响整个hdfs上运转的程序。

功能的瓶颈

因为是单个namenode的hdfs架构,因而整个hdfs文件体系的吞吐量受限于单个namenode的吞吐量。

2.hdfs federation架构规划,如图所示

能不能有多个namenode

hdfs federation架构规划

二.完成

namenode ha是为了处理namenode可用性的问题,而namenode federation则首要是为了处理namenode扩展性,阻隔性,以及单个namenode功能方面的问题。namenode federation架构如下:

namenode federation使用了多个命名空间,这些命名空间相互独立,克己,而集群中一切datanode向一切namenode都进行注册,而一个块池有归于同一个命名空间的数据块组成,每个datanode或许会存储集群中一切块池的数据块,每个块池相互独立,有一个挂掉了也不会影响其他块池正常作业。

一起布置了namenode ha和namenode federation时,集群结构会相对杂乱一点,如下图。在实践的生成环境中,namenode ha几乎是必备,而当集群规划在1000台以下时,几乎是不需要namenode federation的。



上一篇:没有了
详解如何用模块化的方式写vuejs
扫一扫,关注我们

友情链接 :
 
地址:江苏省南京市玄武区玄武湖
电话:
邮箱:9490489@qq.com
Q Q:9490489