Hadoop集群任务分派

Hadoop分布式开发中集群的任务的分派，怎样为相应的机器分配相应的任务进行分布式运算呢
全部评论
yarn分配计算资源来分配任务，zookeeper通过负载均衡和配置管理帮助
点赞 回复 分享
发布于 2017-12-13 19:36
我看了你的评论大概懂了，我是个渣渣，只能提点想法，zookeeper一般是负责集群之间的通信的吧，你的意思是不是这个？但是至于zookeeper怎么分的，应该有他自己内部的算法，你需要做的应该就是把你的算法替换吧。我说的是基于我zookeeper ➕HDFS ➕Hbase做存储的基础，我觉得应该相同吧
点赞 回复 分享
发布于 2017-12-13 17:05
兄弟 我虽然对hadoop只有理论了解，但是对MongoDB做过存储的分布复制集设计与测试。 你这个问题是“怎样为相应的机器分配相应的任务进行分布式运算呢” 你有几台机器（服务器）？进行什么运算（是一分多，还是分别做不同的）？
点赞 回复 分享
发布于 2017-12-13 16:55
partition？
点赞 回复 分享
发布于 2017-12-13 15:42

相关推荐

03-31 21:46
广东机电职业技术学院 Java
点赞 评论 收藏
分享
04-01 17:34
广州大学 前端工程师
双非暑期某SaaS小厂面经
前两天冲字节一面花不少时间，然后放松了一下有点掉状态，今天正好跟面试官互撕项目回一下蓝1. 自我介绍 优势2. 完整地介绍公司业务、个人工作3. 介绍公式编辑器（技术栈选型的考虑、公式节点数据结构的设计、手搓公式渲染器的契机、导出格式的设计、Taro API 的跨平台适配器）4. 介绍日志记录器（需求、字段设计）5. React 的主要特性（函数组件、hooks、fiber 树与 diff 算法避免频繁操作 DOM 树）6. 用过 Vue 吗（简历用 Vue 写的，SFC 组件能写，学起来应该不难）7. Webpack 和 Vite 打包区别8. 入职时间等9. 反问（公司业务 实习生工作 对...
查看9道真题和解析
点赞 评论 收藏
分享
头像
03-25 21:35
已编辑
快手_后端开发实习生(实习员工)
点赞 评论 收藏
分享
02-11 19:01
门头沟学院 FAE
点赞 评论 收藏
分享
04-02 17:50
科大讯飞_教育BG_后端开发(准入职员工)
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你的实习产出是真实的还是包装的？ #
37193次浏览 438人参与
# 网申一定要掌握的小技巧 #
20640次浏览 86人参与
# 厦门银行科技岗值不值得投 #
16270次浏览 359人参与
# AI替代不了什么？ #
604次浏览 17人参与
# 面试紧张时你会有什么表现？ #
34926次浏览 223人参与
# 学历VS实习，哪个更重要？ #
3265次浏览 71人参与
# 一人一道大厂面试题 #
125151次浏览 1303人参与
# 机械人求职现状 #
39902次浏览 321人参与
# 分享一个让你热爱工作的瞬间 #
67436次浏览 500人参与
# 你的实习什么时候入职 #
367530次浏览 2362人参与
# 汇川技术求职进展汇总 #
189335次浏览 1065人参与
# uu们，春招你还来吗？ #
66502次浏览 830人参与
# 面试中，你被问过哪些奇葩问题？ #
98040次浏览 1347人参与
# 发工资后，你做的第一件事是什么 #
99829次浏览 320人参与
# 牛油的搬砖plog #
188710次浏览 1254人参与
# 一人分享一道面试手撕题 #
111587次浏览 2646人参与
# 面试被问到不会的问题，你怎么应对？ #
28295次浏览 727人参与
# 你都用vibe coding做过什么？ #
24552次浏览 926人参与
# 90后北漂现状 #
36202次浏览 214人参与
# 工作上你捅过哪些篓子？ #
68676次浏览 318人参与
# 关于春招你都做了哪些准备？ #
145379次浏览 767人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务