好奇怪,我在做A.join(B,Seq('c'))的时候遇到了比较严重的数据倾斜,我对B做了广播,但是从UI上看还是发生了shuffle不知道为什么,而且不论我对A如何重分区,都没有解决数据倾斜的问题,字段c确实分布非常不均,有几个KEY数据量占了99%,最后实在不行我就用map join彻底避免shuffle,但是感觉还有很多不懂的地方
点赞 评论

相关推荐

最喜欢秋天的火龙果很...:第一份工作一定要往大的去,工资低点没事。后面换工作会更好找,即使你去小公司,你也不可能不会换工作的。所以找大的去
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务