面试复盘|携程 大数据 一 二面
大数据底层开发
45min
1.自我介绍
2.聊了会学校里研究方向，
3.介绍下学校里做的项目，还有非简历上写的一些项目、比赛
4.spark和hive的联系
5.mr执行过程和spark rdd的理解 ，优缺点
6.hdfs读写流程（源码级别包括：读写容错机制、发送队列、确认队列、管道传输）
7.groupbykey、reducebykey区别（1、groupByKey算子的功能固定，只能输出相同key值的序列，reduceByKey适用于分组排序过程中有数据聚合操作（sum）的情形，在其他场景下可能不适用。
2、reduceByKey算子在分区内会进行数据聚合操作，因此针对有sum的数据聚合操作,效率会更高一些。（groupByKey算子也能实现类似sum的数据聚合操作，相当于进行groupByKey操作后还需进行map类算子的sum操作）
2、reduceByKey算子在分区内会进行数据聚合操作，因此针对有sum的数据聚合操作,效率会更高一些。（groupByKey算子也能实现类似sum的数据聚合操作，相当于进行groupByKey操作后还需进行map类算子的sum操作）
8.spring了解吗，几个特性，不太了解给面试官说了说springboot
常用什么语言啊，从这开始展开编程语言的八股文，一顿输出
9.java遇到过内存溢出吗，怎么解决的。给他扯到跑spark遇到过，driver、executor、堆内堆外内存调优
10.使用线程池有什么好处
11.有几种创建线程池的方法
12.java里怎么做线程通信的（加锁，展开介绍下sycnc lock、信号量）
13.多个线程同时访问一个加锁方法发生什么，访问非加锁方法呢，访问静态方法呢
14.currenthashmap怎么实现的（从hashmap结构开始说起）
二面
1.自我介绍
2.介绍下实习项目
3.面对特别大的数据量hive怎么去做优化处理
4.编写特别复杂的sql有没有什么好的解决方法（udf）
5.udf是怎么在hvie里执行的（打包成jar上传到集群，注册自定义函数，通过类加载器载入系统，在sql解析的过程中去调用函数）
6.有两个包名、类名相同的类能不能正确加载会出现哪些问题（编写自定义类加载器来实现）
7.基类、子类用不同层级的加载去去加载会出现什么问题（有可能出现父类没有加载出现ClassNotFOundException）
8.单例对象怎么去创建，有哪些方法。描述下代码
8.·多线程去访问怎么加锁处理
9.在上面的基础上在优化一下
10.怎么去编写一个mr程序
11.applicationmaster有什么作用
12.reduce数量怎么确定
13.描述wordcount执行过程
14.reduce怎么知道去哪里拉去map结果集
15.搭建过集群吗，你这个项目为什么要先在伪分布式环境下去做，
16.集群为什么用stanlone不用yarn管理
17用shell去统计文本里单词个数
影石Insta360公司福利 490人发布
投递大疆等公司7个岗位