数仓任务的调度优化

大佬们,数仓任务有根据定时执行的,有根据血缘来执行的,有没有什么算法能将任务分布的很均衡,不要再一个时间段将资源打满,有什么调度算法可以参考吗

1. 给资源池加80-90的限制 比如限制worker 数量 yarn任务数量 任务内存cpu数量
2. 给任务加权重,权重高的优先进队列 用平台实现
#我的求职思考#  #大数据#  #数仓#
全部评论

相关推荐

湫湫湫不会java:先投着吧,大概率找不到实习,没实习的时候再加个项目,然后把个人评价和荣誉奖项删了,赶紧成为八股战神吧,没实习没学历,秋招机会估计不多,把握机会。或者说秋招时间去冲实习,春招冲offer,但是压力会比较大
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务