关注
好奇怪,我在做A.join(B,Seq('c'))的时候遇到了比较严重的数据倾斜,我对B做了广播,但是从UI上看还是发生了shuffle不知道为什么,而且不论我对A如何重分区,都没有解决数据倾斜的问题,字段c确实分布非常不均,有几个KEY数据量占了99%,最后实在不行我就用map join彻底避免shuffle,但是感觉还有很多不懂的地方
查看原帖
点赞 评论
相关推荐
查看5道真题和解析 点赞 评论 收藏
分享
02-25 17:58
吉首大学张家界学院 Python
最喜欢秋天的火龙果很...:第一份工作一定要往大的去,工资低点没事。后面换工作会更好找,即使你去小公司,你也不可能不会换工作的。所以找大的去 点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 你感受到金三银四了嘛? #
70548次浏览 611人参与
# 美团笔试 #
695691次浏览 4624人参与
# 虽然0面试,但今天___,夸夸自己 #
8769次浏览 172人参与
# 米哈游笔试 #
551576次浏览 1088人参与
# 春招 / 实习投递,你最焦虑的一件事 #
52921次浏览 1026人参与
# vivo笔试 #
13023次浏览 122人参与
# 27届实习投递记录 #
849次浏览 22人参与
# AI岗位暴涨12倍,你会转AI赛道吗? #
4647次浏览 91人参与
# 今天你投了哪些公司? #
144587次浏览 2600人参与
# 金三银四,你的春招进行到哪个阶段了? #
18642次浏览 254人参与
# 运营每日一题 #
127446次浏览 900人参与
# 美团秋招笔试 #
194674次浏览 1065人参与
# 小米编程考试 #
31385次浏览 151人参与
# 字节7000实习来了,你投了吗? #
4352次浏览 20人参与
# 刚工作的你,踩过哪些坑? #
6086次浏览 137人参与
# AI项目实战 #
6557次浏览 307人参与
# 小米笔试 #
139072次浏览 994人参与
# 找工作,你都让AI帮你做什么? #
6769次浏览 214人参与
# 软件开发春招备战日记 #
93009次浏览 611人参与
# vivo求职进展汇总 #
277844次浏览 1558人参与
