hadoop脑裂问题

如题,起因是今年秋招LZ曾面过北京appannie的大数据开发岗,技术面的时候面试官有问我一个很奇怪的问题

前面我们讨论了下关于集群如何保证高可用性,我说做成HA的,两个master,一个挂了,另一个接替
然后他问我,“两个master是同时运行的吗?”,我说“不是,一个action,一个是standby,二者的元数据是相同的。”
他这时候就问我,应该如何优化这种模式,因为你有2个主节点,一个运行,一个不运行,势必会有资源浪费

我当时就一愣,因为从没思考过这方面的问题,也没接触过类似的,我想了想,回答不知道
然后面试官就回答我说 “让两个都一起运行啊,这么简单都想不到吗?”

我就很懵,立刻我就反问道:“那你是如何解决脑裂问题的?两个master一起运行那不得打架?”
面试官就一脸高深莫测的说:“你下去自己看看吧,我就不跟你说了。”

直到现在,我TMD才明白那是个什么玩意,他的问法完全就是错的,只要配成HA模式,势必会有一个action状态的master和至少一个standby状态的master(3.0支持多个standby状态的master)
所以完全不可能两个都运行,这TMD是从底层原理上就限制了的

他想问的,应该是“Hadoop 的 NN 所使用的资源受所在服务的物理限制,不能满足实际生产需求时,应该怎么做?

这问题就很明了了,hdfs联邦制就是去解决这个问题了,即多个ha 联合组成一套集群环境,对外提供一致接口【ViewFs】(相当于扩容)
即cluserID 相等,但是相同的datanode服务于不同的namenode。
原理是通过namenodeID和blockPool-id来判别文件存放的位置。(相当于不同的namenode就是不同的入口,通过这些入口都可以访问都同一套东西,但因为有了多个入口,所以对于单个入口的压力变小了)

但那怕是这种的,也是一定会有至少一个standby状态的master,不可能存在一个没有standby状态的master,那就不叫HA了,坑啊
#Hadoop#
全部评论

相关推荐

02-07 12:06
已编辑
华侨大学 测试开发
最近看到很多 92 的,甚至是硕士,开始往测开赛道卷,说实话有点看不懂。先把话说清楚,大厂里的测开,绝大多数时间干的还是测试的活,只是写点自动化脚本、维护测试平台、接接流水线,真正像开发一样做系统、做架构、做核心平台的测开少得可怜,基本都集中在核心提效组,而且人很少,外面进去的大概率轮不到你,我想真正干过人都清楚。很多人被洗脑了,以为测开也是开,和后端差不多,只是更简单、更轻松、还高薪。现实情况是,测开和开发的职业路径完全不一样。开发的核心是业务和系统能力,测开的核心是稳定性和覆盖率,前者是往上走,后者天花板非常明显。你可以见到很多开发转测开,但你很少见到干了几年测开还能顺利转回开发的。更现实一点说,92 的高学历如果拿来做测开,大部分时间就是在做重复性很强的杂活,这种工作对个人能力的放大效应非常弱。三年下来,你和一个双非的,甚至本科的测开差距不会太大,但你和同龄的后端、平台开发差距会非常明显。这不是努不努力的问题,是赛道问题。所谓测开简单高薪,本质上是把极少数核心测开的上限,当成了整个岗位的常态来宣传。那些工资高、技术强的测开,本身就是开发水平,只是挂了个测开的名。普通人进去,99% 做的都是项目兜底型工作,而不是你想象中的平台开发。测开不是不能做,但它绝对不是开发的平替,也不是性价比最优解。如果你是真的不想做开发,追求稳定,那测开没问题。但如果你只是觉得测开比后端容易,还能进大厂,那我劝你冷静一点,这只是在用短期安全感换长期天花板。有92的学历,如果你连测开这些重复性工作都能心甘情愿接受,那你把时间精力用在真正的开发、系统、业务深度上,回报大概率比卷测开要高得多。想清楚再下场,别被岗位名和话术带偏了,就算去个前端客户端也是随便占坑的,测开是一个坑位很少赛道,反而大面积学历下放,不用想也能知道会是什么结果,我想各位在JAVA那里已经看到了
小浪_Coding:工作只是谋生的手段 而不是相互比较和歧视
点赞 评论 收藏
分享
评论
1
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务