WLvae level
获赞
1540
粉丝
371
关注
85
看过 TA
7500
大连汽车职业技术学院
2024
大数据开发工程师
IP属地:广东
暂未填写个人简介
私信
关注
上海小厂面试,大数据开发,我以为是数仓开发,结果是Spark开发,问的全是Spark问题,被搞自闭了。自我介绍park中RDD的Task数量由什么决定?Spark 怎么实现算子中的变量共享?Spark 共享变量的使用条件?> 可序列化???连接池实例是在算子内 还是在算子外?>我一开始没想好,先回答了连接池的作业:是为了连接的复用,将可能会用到的连接通道给提前打开,存在大量通信请求场景时,可以用到连接池来优化整个通信过程的效率。>>我回答是 连接池实例应该在算子外创建和管理,这样算子共享相同的连接池。>>但面试官说让我好好想想。然后问我 如果进行网络连接,是一台电脑连接还是多台连接?应该是在算子内,通常是因为数据不能或不应当在算子之间共享,或者存在连接泄漏的风险。例如,在使用HBase时,连接器必须在算子内实例化连接池中的连接,以确保每个算子在处理数据时都能获得可用的连接。还是Spark相关的问题,没听记住习惯用的语言?Scala熟练不?对Scala有什么看法?为什么问我的都是Spark内容,我实习的工作也是用Spark?>我简历上不敢写 熟悉Spark,只是在一个项目上用了Spark,结果还是遭不住。为什么选择Spark来处理数据?因为非结构化的数据多吗?部门业务?公司规模?>开发组十多个人,写Spark的只有他一个,要找一个实习生和他一起做我能实习能学到什么?> 主要是Spark和Scala技能的提升
0 点赞 评论 收藏
分享
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客网在线编程
牛客网题解
牛客企业服务