大数据面经

友友们第一次接到这种规模还算可以的公司面试，求指点面试官：做一下自我介绍我：面试官您好，我叫XXX，就读与XXXXX（学院本） 软件工程专业数据与软件开发方向 目前是大三，在校期间主要学习了Hadoop Spark 等大数据相关课程面试官：hive用的多吗我：多，我在学校期间主要做的项目就是数据采集 处理分析，其中处理主要就是利用hive面试官：ok，hive的内部表和外部表有什么区别我：内部表和外部表主要是对于表结构和具体文件数据的关系，外部表的一些表操作比如删除操作，不会删除文件数据，仅仅是删除表的元数据。而内部表的操作就会影响到具体数据文件面试官：ok，hive的静态分区和动态分区的区别我：hive的静态分区主要是在建表的时候就手动指定分区，动态分区是根据表中具体的字段进行分区设置，静态分区之后会产生一个分区列在表结构的最后，但不作为表的具体数据字段。面试官：ok，动态分区主要运用到哪些场景 可以是其他数据类型吗我：主要运用到分区像时间这种，每天一份数据放到不同的日期分区里面存储，这个应该是可以，具体我没有用到过复杂数据类型，不太了解这块面试官：好，OK我这边没什么问题了，你还有什么需要问的吗我：咱们公司这个面试流程是怎么样的我会综合比对一下，如果你过了我这关我后续会联系你的我：好的，那具体薪资这些我就等后续详细再聊，我也没什么了结束断开视频会议

聚合函数，窗口函数有哪些partition by 和groupby的区别BI软件的使用BI软件底层原理项目的数据链路ods层都有哪些表那dwd层又有哪些表ods层的数据又从哪来？（其实是想问数据采集问题）第二个项目亮点，难点合并用的是什么？（第二个项目被评价没有产出😓）再问了问数仓建模反问：我看JD看不出来具体干什么？答：数据采集采集工具用的是什么？答：dataX二次开发后的工具上一次面试是上半年了，突然面试完全不在状态，复习不全面，很多问题都很简单但就是没答出来。

自我介绍项目里做的是什么工作？建模设计？数据采集？还是其他什么？（项目是sgg）数仓建模怎么样？聊一聊那你是主要做指标计算这一块吗？（面试官这个的时候已经知道我对这个sgg的项目没有吃透了，然后就转移其他问题了）问另一个项目spark了解地怎么样？说说两种shuffle（hashshuffle没有聊好）spark底层运行原理说一下hive掌握得怎么样？小文件是怎么产生的？（这一点没答好，我没准备到位，就硬扯map切片机制）那hive是怎么优化小文件问题呢？你有处理过埋点数据吗？（这一点也没准备）然后面试官在哀声叹气了写两题sql吧行转列连续登录你用到了排序函数，聊聊他们的含义吧（rank，de...

大家好，我是蓦然已经有一段时间没在牛客上分享了，今天带来最近整理的资料：《大数据面试题 V4.0》这一版的面试题跟原来几个版本的来源一样：牛客网的面试经验栏目之前这个栏目是根据岗位划分的，现在已经划分的更宽泛了，不过也不影响，想更清晰的看哪个岗位的面经，建议使用手机版《大数据面试题 V4.0》整体介绍Hadoop：165道题Zookeeper：37道题Hive：93道题Flume：25道题Kafka：82道题HBase：61道题Spark：104道题Flink：56道题数仓：40道题综合部分（框架等对比）：55道题数据库：45道题下面介绍下《大数据面试题 V4.0》与3.0的不同《大数据面试题...

🕒 岗位/笔试时间个人背景：安徽理工大学本科 CUGB硕士 无竞赛 无项目 无实习1.快手——（数仓方向）一面凉经八股：spark shffule spark内存模型 RDD五大特性 MR流程  数仓理论sql ：相互关注(没写出来) 分组TopN总结：基本上 按照简历和自我介绍问的 八股都没有深挖2.百度健康部门——（数据中台）一面凉经八股：没有八股 不看简历  问的题目太杂了 都不难 偏向后端sql: 常规sql   不难   有点绕总结：自己基础知识 太差3. 货拉拉——（数据平台）—一面凉经八股：全是后端基础八股 还有 spring八股sql: 无总结  ：答得不好 后端八股 全忘了4.字节 懂车帝——数仓方向—自己取消了面试（抑郁了）5. 美团——数据平台开发（前端方向）——一面挂了总结：没问前端，按照简历问的。答的还可以，最后挂了。6.网易杭州——数仓方向—拿到offer一面：聊天 写sql(求员工的全勤人数)二面： HR面 （聊的很不好，问的都是职场情景题）总结：不知道为啥发Offer了 ，口头offer 到正式 offer 四天时间7.脉脉——数仓方向—拿到offer一面：八股：按照简历问的 很基础 sql:连续三天登录 求好友数量（leetcode原题）二面：问了培训机构的项目   还有 hive八股  （常用的排序 order by sort by ...区别）sql :行列转换  分组topN后面 百度和快手的其它部门 又约面了 最后都拒了（评论区留言就行，都会回复的）

一面面试体验整体很不错，面试官很温柔，也不会故意为难你。一面(2023.3.21)自我介绍简单介绍项目(研一在国电做的)你认为学习到的技术和实际使用的差距在哪项目中的数据都是哪里来的(集团中各种设备运行的数据)你说你用到了Spark那你介绍一下Spark的组件和整体架构(结合Dirver 和 Executor各自的作用)介绍一下Spark的RDD(分布式弹性数据集、基本的数据抽象、封装了计算逻辑、RDD代码层面包含的东西即RDD的属性、有了RDD的依赖就可以生成DAG图)介绍一下Flink(我讲了事件时间、迟到数据的处理啥的)介绍一下Flink状态(就把分类说一下，顺便讲了检查点机制)Flin...

1. 面试官很好,因为他刚下班,所以双方开头相互介绍自己,后面问我有实习过吗,我就如实回答了在广州亚信这边实习过,还问我离职原因什么的,我又不能直接说在公司学不到什么,后面就乱编理由说是因为自己没戴口罩上班感冒了(其实是真的感冒了然后真的感觉学不到什么所以想辞职),面试官就说难道你来深圳身体就好了吗,后面我就说因为家里原因,面试官就不再追问了2. 开始拷打八股,感觉他问的我之前好像都没怎么看过,,,,,又或者忘记了3. 你说一下hdfs有什么特性?底层是什么?为什么hdfs数据量大?速度快?------->我就回答了数据大,速度快的特性,mapreduce底层,,,然后剩下的想不出来,,脑子一热真的啥都忘光了4. 说一下Kafka中的生产者中的模拟数据是怎么模拟的?----?没错我又沉默了..............后面又相继问了些八股,但是忘记了问了啥了,答的一半出,最后,反问环节,我主要是问该岗位主要负责什么,面试官也有耐心的回答了总结:虽然双方都没有开视频,但我已经透过屏幕感觉到了面试官的无奈了,大概率直接寄了,还是要继续提高自己

“行行跨考计算机”，计算机的高薪毫无疑问地吸引了各专业的大佬纷纷来投，百花齐放的同时弊端也是很明显的：不好找工作，相信大家也深有体会。计算机常见的岗位无非就是算法、大数据开发、java开发、测开、前端等等，由于本人并不了解测开和前端，于是在此仅聊聊算法、大数据开发和java开发，先说大家所关心的薪资，网上有博主统计说算法>大数据>=java，此消息我只是结论的搬运工，不背锅。 首先是算法，优点很明显——高薪，缺点也很明显——要求高，很多算法岗基本上都要求有顶会顶刊的文章，退一步讲，有顶刊的大佬可能会被导师劝读博吧（虽然大家不一定听，毕竟工作这么卷，读博后留校真的很不错，我很羡慕），...

Spark的任务执行流程Spark的任务执行流程如下：用户编写Spark应用程序，程序中包含RDD的创建、转换和动作等操作。Spark应用程序通过SparkContext连接到集群的主节点，SparkContext是与集群交互的入口点。当SparkContext连接到主节点后，它会向集群管理器（如YARN或Mesos）请求资源，并启动驱动程序进程。驱动程序进程会将应用程序转化为有向无环图（DAG），DAG中的节点表示RDD，边表示RDD之间的依赖关系。驱动程序将DAG提交给集群管理器，集群管理器将任务分发给集群中的工作节点。每个工作节点上的任务执行器会根据任务的依赖关系和数据位置从磁盘或其他节...

50min1.自我介绍2.讲一下hadoop的工作流程3.求输入数据的聚合和，将一下mapReduce的流程4.讲一下数仓的分层，都是干嘛的5.加/减一层可不可以，为什么6.DWD存是什么7.举个例子说明，比如让你统计班级学生每科的成绩，那你在DWD中怎么存8.问一下项目，你在项目中有没有遇到过维表数据是离线的，事实表数据是实时的情况其他反而问了很多学校社团策划活动的事，（不问技术了是不是意味着我没了）反问：1.觉得我这次面试有什么不足。（结果面试官反问我你觉得呢T-T）2.为什么会面试我3.只会实时的话竞争力会不会比别人弱总结：第一次面试，不知不觉就五十分钟了，时间过得真快，面试之前超级紧张...

接口和抽象类的区别接口和抽象类是面向对象编程中常用的两种抽象概念，它们的区别如下：定义方式：接口是一种完全抽象的类，只定义了方法的签名，没有任何实现代码；而抽象类是一种部分抽象的类，既可以定义方法的签名，也可以包含部分已经实现的代码。继承方式：一个类可以实现多个接口，而且接口之间可以通过继承来扩展功能；而一个类只能继承一个抽象类。实现方式：实现接口的类必须实现接口中定义的所有方法，没有任何灵活性；而继承抽象类的子类可以选择性地实现或覆盖抽象类中的方法。构造方法：接口不能有构造方法，因为接口不能被实例化；而抽象类可以有构造方法，用于子类的实例化和初始化。成员变量：接口中只能定义常量，不能定义成员...

昨天的文章里总结了荣耀大数据面试总结！欢迎关注我！知乎大数据Flink 的 Checkpoint 是什么？Flink 的 Checkpoint 是一种机制，用于实现流式应用程序的容错和恢复。它是将应用程序的状态信息定期保存到持久化存储介质（如分布式文件系统）上的过程。Checkpoint 可以在应用程序运行过程中定期触发，或者在特定事件发生时手动触发。当触发 Checkpoint 时，Flink 会暂停应用程序的执行，并将应用程序的状态信息保存到可靠的存储位置。这包括保存所有的数据流源的当前状态、所有算子的状态以及所有的连接和缓冲区的状态。通过定期触发 Checkpoint，Flink 可以将...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你是否有这样的问题？大部分人，包括我自己在工作第一次跳槽时，也会有类似的疑问：岗位这么多，我应该挑选什么样的岗位来投递呢？当前方向不感兴趣，想做另一个大数据方向怎么投递?感觉这家公司的岗位描述和我不太契合，但我很想去，怎么办？怎么感觉每家公司的岗位描述都写的要求这么高？好的岗位 = 人（自我定位） x 岗（岗位拆解）一个好的岗位，是人岗匹配的结果，“人”表示的是清晰的自我定位，包括对个人兴趣...

​我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！某个task莫名其妙内存溢出的情况这种情况下去定位出问题的代码就比较容易了。我们建议直接看yarn-client模式下本地log的异常栈，或者是通过YARN查看yarn-cluster模式下的log中的异常栈。一般来说，通过异常栈信息就可以定位到你的代码中哪一行发生了内存溢出。然后在那行代码附近找找，一般也会有shuffle类算子，此时很可能就是这个算子导致了数据倾斜。但是大家要注意的是，...

1. Flink 的核心组件：JobManager 和 TaskManager在 Apache Flink 中，JobManager 和 TaskManager 是分布式执行的核心组件，负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑，它主要负责三个方面的工作：•作业调度： 接收用户提交的作业，并将这些作业拆分成不同的任务。•资源管理： 与 Flink 的资源管理器（如 YARN 或 Mesos）协作，为作业分配必要的资源。•容错与状态管理： 控制作业的执行，包括容错机制。负责设置检查点（checkpoints）来保存作业的状态，以便在失败时...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案八：参数调优shuffle相关参数调优以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。Spark 参数优化详解以下列举了Spark参数调优的一些关键参数及其优化建议：1. spark.shuffle.file.buffer (默认值：32k)该参数用于设置 shuffle write task 的 Buf...