科拉奥数据开发一面

说一下数仓项目的架构(离线和实时都问了)

说一下数仓分层及其作用

DWD层和DWS层的区别

事实表有哪些,为什么要设置周期快照事实表

说一下ADS层完成的比较难的需求及其实现(离线数仓的)

说一下为什么在实时项目中加入Redis作为缓存

说一下为什么使用LookUpJoin

MapReduce的工作原理

Hive怎么调优

Flink水位线机制

一道HiveSQL:假设有一张用户登录表,如何求出连续三天登录的用户

反问:

入职主要干啥

简历中哪点吸引了你

回答的怎么样

个人感觉答的不是很好的:

说一下ADS层完成的比较难的需求(这里我倒是说了一个,但是感觉面试官好像听得不是很懂的样子QWQ)

Hive怎么调优(这个主要说了分组和Join如何调优,其他参数实在不会)

Flink水位线机制,这个答完面试官说水位线主要处理乱序数据,但是我答的方向是可以使用事件时间,提高准确性

一开始宿舍比较吵,然后上天台开流量面试的,后来面完面试官说声音不是很连续,以后长记性了得找个网好点的地方

感觉要寄

全部评论
hive调优可以从数据倾斜和小文件答。比如数据倾斜,开启mapjoin参数,开启skew-join参数,开启skew-groupby参数等等 比如小文件,小文件可能是动态分区插入导致的,开启动态分区参数,并开启动态合并小分区参数; 开启动态识别小文件参数,并设置小文件平均大小的阈值,以及合并后文件的大小等等
3 回复 分享
发布于 04-14 11:37 安徽
ads复杂指标可以说是什么指标(比如复合指标/派生指标),然后说自己怎么dwd层带到dwm层带到ads层,中间关联了哪些,聚合了什么维度
2 回复 分享
发布于 04-14 11:41 安徽
这公司还在招呢,上次面试了这家直接就问了15分钟八股,然后就结束了。我还以为是他们招到人了
点赞 回复 分享
发布于 04-17 21:50 北京
watermark是为了解决事件时间乱序的问题吧
点赞 回复 分享
发布于 04-14 11:38 安徽
二面了没
点赞 回复 分享
发布于 04-13 05:30 河北

相关推荐

作业帮时间是随机的,今天下午测的。作业帮是10道选择题加2到算法题:选择题:考了数据结构排序二叉树,linux命令:awk '$NF' test 这里的test是一个有多行数据的文件,这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink,还考了kafka的高性能和低性能的一些问题,这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题,第一个是简单的二分查找,不过我只通过了94%,后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题,最长有效括号,可惜了我两个月前还写过但是还是没写对,只通过了63%。也不知道能不能过。阅文(寄了,以为是8.30考没想到是8.30结束结果只写了20分钟):这好像是前面是单选题,中间是不定项,后面是问答题单选题:考了hive内置函数,考了hive与spark的对比,hadoop节点默认备份是多少~(还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎)不定项:有mysql中delete,drop和truncate这三者的区别特点(我对truncate完全没印象),还考了flink的一些知识。问答题:第一个是mapredce工作流程这个还好,第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写,也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀:来打散数据分布,在后继计算中去除前后缀从而负载均衡2.广播小表,如果是原因是小表与大表join可以将小表广播到每个节点,避免产生数据倾斜。3.salting方法:为倾斜数据填加盐值,打散倾斜数据4.分区策略调整:通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度:针对只有少量数据造成的倾斜任务,增加并行度可以更快地处理这些小任务6.数据预处理:合并一些小文件,fliter操作等第三四个就是写sql语句,第三个挺简单的就是第四题来不及看了。ok就是这些了,预祝大家都能找到自己想要的工作实现,我还是继续去沉淀去了,这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题,八股都没怎么看,对组件的掌握还是太浅了。
查看14道真题和解析 投递阅文集团等公司6个岗位 数据人的面试交流地
点赞 评论 收藏
分享
头像
05-11 14:45
已编辑
莆田学院 产品经理
好像从去年3、4月份开始就一直在找工作了 累计也实习了8个月 秋招的时候每天都在想自己到底怎么做自己到底要投多少简历才能有offer,简历也一直改来改去,中大厂投出去的简历大多是石沉大海的,笔试做做做做到厌烦到现在几乎还是0offer的 有一段时间真的觉得自己好失败 在牛客常常看见别人offer拿到手软,自己又会开始emo直接就是退出牛客 因为自己大一大二常常6点起来读书 尝尝想起在图书馆见证日出的自己 大一大二尝试过很多方向 也感觉自己比很多人都努力 但是最终这个结果好像配不上我自以为的努力 有时候会后悔自己选错了方向 把时间浪费在各个不同的方向上 讨厌自己的不坚定 但是也许选什么都会后悔的 时间也不能倒流 后悔一会伤感一会就让它过去吧好像是我天生乐观 沮丧一会就又满血复活了 我觉得车到山前必有路 我会继续投简历、做测评、去面试 我相信每一次有准备的面试都会让我继续成长  我现在觉得求职是一个破茧的过程,虽然我还在困境中挣扎,但也富有积极向上的力量 。                                                                                                                                    -------一个双非本的求职破茧信
点赞 评论 收藏
分享
评论
1
9
分享

创作者周榜

更多
牛客网
牛客企业服务