5.15 上海某小厂-暑假实习-面试

上海小厂面试,大数据开发,我以为是数仓开发,结果是Spark开发,问的全是Spark问题,被搞自闭了。

自我介绍

park中RDD的Task数量由什么决定?

Spark 怎么实现算子中的变量共享?

Spark 共享变量的使用条件? 

> 可序列化???

连接池实例是在算子内 还是在算子外?

>我一开始没想好,先回答了连接池的作业:是为了连接的复用,将可能会用到的连接通道给提前打开,存在大量通信请求场景时,可以用到连接池来优化整个通信过程的效率。
>
>我回答是 连接池实例应该在算子外创建和管理,这样算子共享相同的连接池。
>
>但面试官说让我好好想想。然后问我 如果进行网络连接,是一台电脑连接还是多台连接?应该是在算子内,通常是因为数据不能或不应当在算子之间共享,或者存在连接泄漏的风险。例如,在使用HBase时,连接器必须在算子内实例化连接池中的连接,以确保每个算子在处理数据时都能获得可用的连接。

还是Spark相关的问题,没听记住

习惯用的语言?Scala熟练不?对Scala有什么看法?

为什么问我的都是Spark内容,我实习的工作也是用Spark?

>我简历上不敢写 熟悉Spark,只是在一个项目上用了Spark,结果还是遭不住。

为什么选择Spark来处理数据?因为非结构化的数据多吗?

部门业务?公司规模?

>开发组十多个人,写Spark的只有他一个,要找一个实习生和他一起做

我能实习能学到什么?

> 主要是Spark和Scala技能的提升
全部评论
什么小公司
点赞 回复 分享
发布于 2023-05-16 09:57 江西
有转正机会吗
点赞 回复 分享
发布于 2023-05-16 09:06 湖南
求私公司名,可太喜欢用scala的spark原生api处理数据了
点赞 回复 分享
发布于 2023-05-15 21:05 上海

相关推荐

头像
04-27 15:11
已编辑
华东师范大学 算法工程师
暑期实习从2月开始投,面了两个月,流程该挂的都挂完了,腾讯字节一共号称是1.7w个hc,不知道都发给谁了,估计今年秋招要难顶。Timeline米哈游、美团、蚂蚁、微软等公司直接简历挂穿,没进面。携程:3.3 投递、测评3.12 笔试3.18 一面3.25 二面4.13 ai面(hr面)4.14 英语测评4.23 offer(已拒)腾讯:2.6 测评2.28 wxg一面3.5 wxg二面(挂)3.11 teg一面3.21 teg二面(取消)3.31 teg一面4.10 teg二面(挂)4.21 wxg一面4.24 wxg二面(挂)字节:1.28 aml约面(取消)3.17 火山一面(挂)4.8 aml一面(挂)4.20 抖音data一面(挂)阿里:3.23 投递、测评3.28 笔试3.31 淘天一面4.8 钉钉一面4.9 淘天二面4.10 阿里控股一面4.12 钉钉二面(取消)4.15 淘天hr面4.16 淘天offer(已接)4.21 高德一面(取消)4.22 淘宝闪购一面(取消)面试最大的感触是,现在撞上ai转型,一堆老业务急着转向,新业务非常不成熟,研究型的组bar非常高根本进不去,业务侧挂着算法的岗位干的都是工程活,面试却又要问算法,另外agent的落地也远没有那么广,绝大多数还是那套写死的系统调一下llm api或者做做rag,其余少部分真的在搭agent的,基本不能在线上服务用什么很智能的模型,现阶段成本太高,进去大概率就是给垃圾模型从工程方面兜底,除了业务场景的应用和数据经验以外,技术方面很难有什么提升。算法岗做不了基模的还是去搜广推好,之前判断失误了完全没投,秋招不知道还进不进得去。
嵌入式的小白:不错啊,淘天也是挺好的,恭喜
我的求职进度条
点赞 评论 收藏
分享
zzzilik:没事的,才刚刚开始,后面会捞的,这个三天没人发起面试自动结束,但是面试官还是能看到简历,四月份主战场会慢慢捞
点赞 评论 收藏
分享
评论
3
5
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务