数仓任务的调度优化

大佬们,数仓任务有根据定时执行的,有根据血缘来执行的,有没有什么算法能将任务分布的很均衡,不要再一个时间段将资源打满,有什么调度算法可以参考吗

1. 给资源池加80-90的限制 比如限制worker 数量 yarn任务数量 任务内存cpu数量
2. 给任务加权重,权重高的优先进队列 用平台实现
#我的求职思考#  #大数据#  #数仓#
全部评论

相关推荐

几个意思
Data_Seven:他笑话你 我忍不了 我去阿里了
点赞 评论 收藏
分享
09-17 17:09
门头沟学院 Java
雨忄:有人给出过解法,拖晚点去,然后到时候再找其他理由商量,既增加他们的筛人成本,不一定会给你收回offer ,也能占位避免工贼
秋招的嫡长offer
点赞 评论 收藏
分享
评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务