数据开发工程师面经

1.有了解过JUC吗，讲一下你知道的2.Java和python的内存管理机制2.Hadoop，Hive和Hbase之间的关系3.Spark和Flink有什么区别4.Flink有哪些组件以及架构是什么样的5.Flink有哪几种窗口和哪几种时间语义6.Flink程序的编写流程是什么样的7.Flink优化了解过吗，讲一下有哪些优化8.FlinkUI监控页面使用过吗，你主要用来看什么9.什么是Flink背压机制，以及背压问题如何处理10.Flink-CEP是什么，讲一下它的原理以及自己在什么场景下使用过。11.项目拷打（重点）12.反问面的是大数据实时开发岗，所以面试里主要问了Flink。面试官和我说偏向后端，主要做实时任务和风控处理，倾向招Java基础好且有后端基础的（自己做过Springboot的项目）当晚oc，第二天offer

以下三十多道八股，包括但不限于：请做一下自我介绍。结合您的项目经理经历，讲一下您对数据仓库的理解。描述数据仓库的四大特点。询问您是否有涉及实时数据仓库。介绍HDFS的副本机制。介绍HDFS的编码机制。介绍HDFS的高可用机制。介绍元数据表的存储方式及其表结构。介绍用户定义函数（UDF）、UDTF及聚合函数。介绍窗口函数及其使用场景。介绍Hadoop生态中常用的数据存储格式。介绍Hadoop生态系统中的资源调度器，包括FIFO、Capacity Scheduler和Fair Scheduler。介绍Kafka分区副本的特点以及如何保证消息不重复消费。询问您对Spark和Flink的了解程度。介绍...

1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务） 9、Kafka的基本架构？10、RXR队列（不知道是什么东西）11、Kafka的partition副本写数据是怎么写的？12、Kafka副本的leader是怎么选出来的？13、有没有了解Kafka的架构设计？14、讲一个最熟悉的集合？（答了HashMap）15、ArrayList是怎么实现的？Link...

场景题：上游订单数据有问题，时间也是错误的，你怎么从 ODS 中找到这张订单表的位置？（不会）第一种思路：全表扫描第二种思路：做一张表，对表id进行hash，表中存储该表id对应的分区DWS 层能不能没有（答：模型设计中我们一般要做到公共处理逻辑的下沉和单一，所以一般我们会把汇总逻辑放到DWS层，不把它暴露到APP层去实现，所以一般总会设计DWS层的）FlinkCDC MySQL 连接器的偏移量（没深入了解过）实时数仓中 Redis 做旁路缓存你的 TTL 怎么设置的（答得 Maxwell 中数据 type = update 时，更新 Redis 中的缓存数据，驴唇不对马嘴，事实上好像设置的 ...

23.5.30快手一面 1、介绍项目 这里都根据个人项目去聊的，问了很久2.数据怎么来的（ods层数据同步问题）ads层下游怎么做，数据怎么来的报表直接查的ads层吗 数据抓过来存在哪3.hadoop了解吗hdfs有那些组件，4.聊聊mapreduce进行几次排序一个sql题，按分数进行排序count(*) count(1) count(col)三者有什么区别数据倾斜 pv值  23.5.31快手二面1、面向业务的数据库设计面向业务的数据库设计流程通常分为以下6个阶段1：需求分析：分析用户的需求，包括数据、功能和性能需求。概念结构设计：主要采用E-R模型进行设计，包括画E-R图。逻辑结构设计：...

10.8 投递简历（大数据开发岗位 base西安 有成都岗？ 我怎么没看到）10.10-12 笔试11.05 一面有五六个面试官 问了问题的有两个介绍了下项目，问了些每个组件的基础知识，都是大数据的基本八股文sqoop分隔符 flume数据一致性 拦截器 数据倾斜 hbase rowkey三大原则 hive内外部表11.13 二面挖了下数仓项目，本科项目，问了些安全问题，为什么本科研究生都是安全方向会选大数据有个好像是HR的小姐姐问了下 offer情况啊 base地点（说有成都？） 期望薪资啥的11.22 面谈（两个人）hhh 笑死我了 HR第一句 同学们我确认一下你们的意向地点都是西安吗？我...

美团 优选 时长1s10m 时间：2023-08-07一、自我介绍（5min）：1.面试官自我介绍2.自己自我介绍二、项目讲解（20min）：1.简历上面两个项目讲解？答：一个离线数仓项目、一个基于知识图谱的智能问答项目2.智能问答项目后端部分的登录模块怎么实现的？答：基于sa-token，使用Redis缓存用户登录token信息......3.如果服务器扩容到三台还可以适用吗？答：不理解啥意思......4.离线数仓项目当中你做了什么？答：模型设计，脚本开发，技术选型，流程设计...5.深入问了模型设计？答：这里答的不好...三、实习（5min）：1.实习都干了什么？答：因为摸鱼（自学）比较...

笔试：选择题+填空题+判断题+简答题简答题1、说说大数据技术的特点2、说一下Spark任务执行的流程3、1G的文件，每一行是一个词，词大小不超过16字节，内存1M，找出频数最高的100个词。技术面1、自我介绍2、本专业主要学什么？3、介绍一下实习的项目4、小文件问题怎么处理？（SequenceFile、CombineInputFormat、JVM重用）5、Hive支持哪些存储格式？（TextFile、SequenceFile、ORC、Parquet）6、ORC和Parquet有什么区别？7、哪些压缩格式？（gzip、bzip、snappy、lzo）8、Hive的数据倾斜是怎么处理的？9、分区和...

自我介绍new String() == ""new Integer(100) == 100说一说集合List和Mapjava中的锁写一个双重锁单例模式mysql 几种锁，怎么设计一个联合索引多线程的实现方式，区别SpringBoot 用过哪些注解，怎么定义一个接口手撕单链表排序（写过但是忘干净了，寄）总结：偏后端，寄就寄吧

1、实习的工作内容是什么？2、有写过UDF吗？如何实现UDF？3、UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？4、UDTF了解吗？5、Hive的窗口函数有了解过吗？6、开窗函数Over()中有没有orderby有什么区别？7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、Flink最新版本是多少？新旧版本有什么区别？11、有没有了解过Flink的窗口函数？12、离线数仓做了什么工作？13、数仓为什么要分层？14、实时数仓也要像离线数仓那样分层吗？15、开发数仓的过程中有哪...

1、 你转正了吗？2、 挖项目大概30分钟3、 详细讲项目，分几层，遇到的难点等问题4、 主要想问数据储存，数据计算，配置参数，对Spark如何配置5、 T+1生成数据但下午才生成数据，你的排查思路？6、 数据倾斜你如何解决，小文件你如何解决？7、 你们北京、上海这种订单量很大，按省份分区数量大，你如何解决？ 8、 讲讲Doris9、 反转链表10、 二叉树中序遍历11、 写非递归二叉树中序遍历12、 写SQL，date、dept、name、work_time，四个字段的表，求最近一个月内每个部门的平均工作时长前三的员工。

1、 项目一直挖2、 Spark调优3、 Shuffle之类的优化4、 平常写SQL注重优化之类的问题5、 第一道题让看下面Java代码写输出。 private static void test(int[] arr) { for (int i = 0; i < arr.length; i++) { try { if (arr[i] % 2 == 0) { throw new NullPointerException(); } else { System.out.print(i); } } catch (Exception e) { System.out.print("a &qu...

1、 确认专业，保研，成绩，排名2、 课程内容，研究生课程等3、 数据库底层索引的优劣势？4、 我现在有一张表把所有字段都加索引了，这样好吗？5、 存储过程和视图？6、 视图字段是单独存储的吗？7、 MR原理用你自己话简单描述。8、 MR中数据倾斜的产生情况，你如何解决？9、 一个复杂的SQL中发生了数据倾斜，你怎么确定是哪个group by还是join发生的？10、 count（distinct）怎么优化？11、 实时了解多少？12、 实习期间所做的事情？13、 这个项目的背景、技术方案、难点、结果？14、 维度建模理论？15、 你所说的粒度，要怎么建设呢？16、 总线矩阵是什么？17、 问...

线下群面：五分钟读题，然后每人简单自我介绍+说出对题目的答案，然后讨论20分钟，最后5分钟派一个人总结。题目：（2选1）1、如何构建数据中台？2、设计一个智能家居，应该有哪些功能？用什么技术实现这些功能？测评：性格测试+图形推理+资料分析二面：1、自我介绍2、详细介绍一下项目3、实习的数据框架和项目的数据框架有什么区别吗？4、数据采集还了解其他工具或架构吗？5、数据加工处理还了解其他工具或架构吗？6、数据对外提供服务还了解哪些工具？7、介绍一下实习中大数据开发的流程和规范8、编译原理、数据库原理有了解过吗9、做题，说思路就好：（不用借助其他平台，想思路就好）上百T数据，里面有手机号，有5台机器...

1.关于实习的机器学习项目的评估标准，AUC,ROC,准确率与召回率都是怎么计算的，事前评估，事后评估，评估结果是怎么样的2.关于数据分析的项目，你的数据是如何清洗的，做了哪些清洗的工作，3.什么是数据的完整性4.数仓是怎么设计的5.linux查看进程的命令是什么，如何查看具体某一行的内容（查看第n至m行）6.从浏览器输入网址到返回页面，中间发生了什么7.具体说一下三次握手四次挥手8.HTTP和HTTPS的区别9.HDFS的理解10.hadoop对put一个文件，集群发生了什么11.hadoop数据如何存储12.UDF函数有哪些，工作原理是什么13.spark的driver和executor的...

分享前吐槽：面试不开摄像头，面试官的语气跟快断气了一样……1、有了解web开发、后端开发吗？（无）2、线程和进程有哪些区别？3、怎么看一个正在执行的JAVA程序的线程状态？4、新生代和老年代主要是干什么的？比例是多少？5、HDFS的服务组成有哪些？它们分别的作用是什么？6、除了Hive之外，还用过其他数仓吗？7、Flink的窗口主要是干什么的？8、Flink的dataStream和dataset有什么区别？9、Flink的部署模式有哪些？分别说明一下10、Flink中三个不同的时间概念11、Spark中的分组算子有哪些？（reduceByKey，groupByKey）12、Hive什么情况下会...

1、 目前研究的项目，对数据的处理？2、 你怎么理解数据挖掘？3、 平时用啥数据库？4、 3NF？5、 深剖数仓项目6、 讲一讲项目？7、 数仓表哪里用到了3NF？8、 是2NF吗？9、 数仓模型？10、 事实表和维度表都有啥？11、 下单业务中怎么记录下单了但未支付的行为？12、 拉链表用过吗？ 13、 留存率怎么实现的？14、 连续的还是间隔的？ 15、 今天算出来的留存率算今天分区还是昨天分区？ 16、 用过hive的排序吗？row_number()、rank()、dense_rank()有啥区别？17、 distinct和group by用哪个好？18、 groupby的MR执行流程？...

1、 实习项目—自己的工作体现？2、 数仓从底层到顶层全链路？3、 你在项目中做了哪些调优？4、 数仓分层理论？5、 用什么开发？6、 底层计算引擎是MR？7、 问Hive和Spark区别和优劣势？8、 Spark有没有什么不好的地方？9、 Spark参数调优？10、 开始问语言，学过C++或C吗？11、 用Java做啥？12、 写过UDF吗？13、 Python做啥？14、 用过哪些包？15、 数据结构用过哪些？16、 用过hash吗？ 17、 HashMap？和Map有啥区别？18、 为什么叫HashMap？19、 两个栈实现一个堆。20、 冒泡排序。21、 求每个部门的工资前三名的员工。