hadoop脑裂问题

如题,起因是今年秋招LZ曾面过北京appannie的大数据开发岗,技术面的时候面试官有问我一个很奇怪的问题

前面我们讨论了下关于集群如何保证高可用性,我说做成HA的,两个master,一个挂了,另一个接替
然后他问我,“两个master是同时运行的吗?”,我说“不是,一个action,一个是standby,二者的元数据是相同的。”
他这时候就问我,应该如何优化这种模式,因为你有2个主节点,一个运行,一个不运行,势必会有资源浪费

我当时就一愣,因为从没思考过这方面的问题,也没接触过类似的,我想了想,回答不知道
然后面试官就回答我说 “让两个都一起运行啊,这么简单都想不到吗?”

我就很懵,立刻我就反问道:“那你是如何解决脑裂问题的?两个master一起运行那不得打架?”
面试官就一脸高深莫测的说:“你下去自己看看吧,我就不跟你说了。”

直到现在,我TMD才明白那是个什么玩意,他的问法完全就是错的,只要配成HA模式,势必会有一个action状态的master和至少一个standby状态的master(3.0支持多个standby状态的master)
所以完全不可能两个都运行,这TMD是从底层原理上就限制了的

他想问的,应该是“Hadoop 的 NN 所使用的资源受所在服务的物理限制,不能满足实际生产需求时,应该怎么做?

这问题就很明了了,hdfs联邦制就是去解决这个问题了,即多个ha 联合组成一套集群环境,对外提供一致接口【ViewFs】(相当于扩容)
即cluserID 相等,但是相同的datanode服务于不同的namenode。
原理是通过namenodeID和blockPool-id来判别文件存放的位置。(相当于不同的namenode就是不同的入口,通过这些入口都可以访问都同一套东西,但因为有了多个入口,所以对于单个入口的压力变小了)

但那怕是这种的,也是一定会有至少一个standby状态的master,不可能存在一个没有standby状态的master,那就不叫HA了,坑啊
#Hadoop#
全部评论

相关推荐

白火同学:能。我当初应届沟通了1200,收简历50,面试10左右吧,加油投吧
点赞 评论 收藏
分享
吐泡泡的咸鱼:我也工作了几年了,也陆陆续续面试过不少人,就简历来说,第一眼学历不太够,你只能靠你的实习或者论文或者项目经历,然后你没有论文,没有含金量高的比赛和奖项,只能看实习和项目,实习来说,你写的实习经历完全不清楚你想找什么工作?行研?数据分析?且写的太少了,再看项目,这些项目先不说上过大学读过研究生的都知道很水,然后对你想找的岗位有什么帮助呢?项目和实习也完全不匹配啊,你好像在努力将你所有的经历都放在简历里想表现你的优秀,但是对于你想找的岗位来说,有什么用呢?最后只能获得岗位不匹配的评价。所以你需要明白你想要找的岗位要求是什么,是做什么的,比如产品经理,然后再看你的经历里有什么匹配的上这个岗位,或者对这个岗位以及这个岗位所在的公司有价值,再写到你的简历上
点赞 评论 收藏
分享
评论
1
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务