不懂就问——关于数据倾斜

想问下大家,Spark3.0+版本中开启AQE的话会自动对较大的分区做拆分,这样的话数据倾斜问题还存在吗#大数据##Spark#
全部评论
这个开启可以自动是用skew join优化数据倾斜,有几个参数要根据实际情况配置一下,但数据倾斜有没有解决得看真正执行的时候task的状态吧
点赞 回复 分享
发布于 2023-09-24 16:46 山东

相关推荐

06-20 19:40
中原工学院 Java
网络存储:十几天不会让你拉人办卡就结束了吧?
点赞 评论 收藏
分享
喝干太平洋:我是大专 我感觉我当时的简历比你好点 就一个vue吗
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
07-21 13:41
点赞 评论 收藏
分享
评论
2
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务