关注
set hive.auto.convert.join=true; set hive.mapjoin.smalltable.filesize=300000000; set hive.auto.convert.join.noconditionaltask=true; set hive.auto.convert.join.noconditionaltask.size=300000000; INSERT INTO TABLE ArticleFeatures PARTITION(dt='${etl_dt}') SELECT articleid AS articleid ,concat_ws(',',collect_set(t2.url_feature)) AS url_features FROM (SELECT DISTINCT articled AS articled ,image_urls AS image_url FROM Articles LATERAW VIEW explode(splite(image_urls,',')) ) t1 LEFT JOIN (SELECT url ,concat_ws(':',url,feature) as url_feature FROM ImageFeatures) t2 ON t1.image_url = t2.url group by articleid 直接手写的没跑过,肯定有问题(PS:我基本每条sql都要测试几遍,很少会有一边通过的样子不知道你们是不是一样),但是思路基本都是一样的,就是行转列再拼起来。关键是这个调优怎么做,很想知道一下大神的思路 个人调优思路:1、提前去重,减少数据量。数据本身较少,直接使用distinct 2、在设置中开启mapjoin,把小表直接加载进内存中join 感觉除此之外没啥要优化的了
查看原帖
点赞 评论
相关推荐
点赞 评论 收藏
分享
09-25 15:12
中南林业科技大学 单片机 点赞 评论 收藏
分享
查看22道真题和解析 点赞 评论 收藏
分享
牛客热帖
更多
- 1... Gemini3用了吗,前端是不是无了?2934
- 2... 学院本放弃秋招了2780
- 3... 【Offer帮选】专家大佬在线接单!发帖即享免费1V1抉择指导2740
- 4... 双九无实习 CPP 拿下 SSP-秋招总结(其二)2701
- 5... 震惊!某HR居然给我发了这样的邮件......2681
- 6... 被导员发现之后续集:2469
- 7... 双九无实习CPP拿下SSP-秋招总结(其一)2393
- 8... 27无实习不投日常了明年3月直接战暑期或者找日常可行吗2311
- 9... wxg和字节flow咋选2202
- 10... 秋招收官!小红书你PK赢了2037
正在热议
更多
# 那些年,我收到的‘奇葩’回复 #
16236次浏览 138人参与
# 材料人,你最希望上岸的是? #
10263次浏览 55人参与
# 腾讯音乐秋招 #
428796次浏览 4770人参与
# OC/开奖 #
181591次浏览 1288人参与
# AI时代,哪些岗位最容易被淘汰 #
9207次浏览 85人参与
# 职场中那些令人叹为观止的八卦 #
25393次浏览 224人参与
# 小红书开奖了 #
29772次浏览 150人参与
# 秋招你经历过哪些无语的事 #
16795次浏览 216人参与
# 得物求职进展汇总 #
134154次浏览 961人参与
# 秋招吐槽大会 #
78222次浏览 697人参与
# 校招薪资来揭秘 #
65638次浏览 438人参与
# 实习学不到东西怎么办? #
263072次浏览 2483人参与
# 你找工作想离家近 or 离家远? #
14334次浏览 224人参与
# 第一份工作能做外包吗? #
80946次浏览 555人参与
# 实习心态崩了 #
91038次浏览 480人参与
# 我的职场社死时刻 #
18849次浏览 160人参与
# 你秋招最后悔的选择 #
14696次浏览 117人参与
# 来聊聊机械薪资天花板是哪家 #
153819次浏览 829人参与
# 蚂蚁求职进展汇总 #
129775次浏览 1198人参与
# 哪些公司开始补录了 #
18826次浏览 156人参与
# XX请雇我工作 #
13636次浏览 111人参与
# 小马智行求职进展汇总 #
16936次浏览 54人参与
