大数据开发工程师面经

问过的一些公司：字节 x 2，字节(2021.07)-(2021.08)-(2021.10)，阿里 x 2，爱奇艺，百度 x 2，百度(2021.08)，网易 x 3，网易(2021.09)x2，美团 x 4，美团(2021.09)x2，京东，京东(2021.09)，贝壳，keep，马蜂窝 x 2，转转，滴滴，小米，米哈游，有赞 x 2，猿辅导，58 x 2，作业帮社招，字节社招，腾讯社招 x 2，端点数据(2021.07)，百度(2021.09)，蔚来(2021.09)，恒生(2021.09)，快手(2021.09)，唯品会(2021.10)   参考答案：   首先，我要知道数据仓库分层架...

这份面试题时群里一位小伙伴分享的，我给这份面试题找了一些参考答案   参考答案来源：https://www.nowcoder.com/discuss/929016   1、实习经历   这一点就不多说了，每个人都不一样，根据自己的介绍就行。   2、简单介绍wordcount    先来看一张图     具体各个阶段做了什么   spliting ：Documents会根据切割规则被切成若干块，   map阶段：然后进行Map过程，Map会并行读取文本，对读取的单词进行单词分割，并且每个词以键值对<key,value>形式生成。  例如：读取到”Hello World Hello ...

#大数据面试 昨天面试腾讯大数据开发，面试题奉上，欢迎大佬指点问题： 1.自我介绍 2.项目细节 3.题目 有用户对于微信文章表t_user_log,数据量约40亿，t_wx_doc表，数据量约400W, 表结构信息如下 create table default.t_user_log (   ip string comment 'ip',   ts string comment '时间戳',   userid string comment '用户id',   docid string comment '文章id',   action string comment '用户行为1 阅读，2点赞，3 分享，4 打赏, 5 评论',   entry  string comment '如口' ) partitioned by (   day string comment '' )create table default.t_wx_doc (cpid string comment '公众号id',ts string comment '发文时间戳' ,docid string comment '文章id',text string comment '文章内容',category string comment '文章分类') 机器资源有限，（vcore 小与100， &&men<400G）请编程解决下面两个问题计算框架 算法不限1 .找出热门的公众号top102. 给定一个10000w 大小用户包（userid 字符长度为16）计算他们各自最可能喜欢的5个公众号4. Flink如何保障在使用kafka的时候是execyly-one的？5. Flink与spark的区别6. Flink内存模型7. Spark内存模型8. Spark shuffle过程9. Spark Rdd属性10. Rdd的那个算子可以重分区但是不用shuffle11. 问题3热门文章数据量大的时候，出现数据倾斜如何解决面试完之后感觉要跪了，效果很差。继续加油补知识

1、SQL题   自由发挥   2、实习经历   根据自己的来就行，一面面试题也有说   3、Hadoop和Spark的相同点和不同点   相同点：    Hadoop和Spark都是并行计算，两者都是用MR模型进行计算。  都提供了灾难恢复     Hadoop将每次处理后的数据写入磁盘中，对应对系统错误具有天生优势。  Spark的数据对象存储在弹性分布式数据集(RDD)中。这些数据对象既可放在内存，也可以放在磁盘，所以RDD也提供完整的灾难恢复功能。    不同点：    Hadoop将中间结果存放在HDFS中，每次MR都需要刷写-调用，而Spark中间结果存放优先存放在内存中，内存不够...

可回答：对数据仓库的理解   问过的一些公司：京东，美团，网易，阿里(2021.09)，网易有道(2021.10)   参考答案：   数据仓库的发展大致经历了这样的三个过程：   简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，以及生成一些简单的能够帮助领导进行决策所 需要的汇总数据。大部分表现形式为数据库和前端报表工具。   数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现，能够提供对特定业务指导的数据，并且能够提供特定的领导决策数据。   数据仓库阶段：这个阶段，主要是按照一定的数据模...

一面：https://www.nowcoder.com/discuss/1079324     1、数据库三范式     第一范式：（字段不能重复且不能分解）   我们也叫1NF。这个范式主要还是让我们去看看表中不要存在可以被分割的列，同时表的列不能重复。当然，在实际操作过程中，我们如果录入相同的列，系统也是会报错的。   第二范式：（增加主键）   我们也叫2NF。这个范式的前提是必须要先满足第一范式的要求。当然，2NF的主要特点还是主键（从候选码挑选出来的字段，候选码是能决定唯一一行记录的属性组），所谓主键也是是能够决定一行数据的候选码。也就是说，主键可以是一列或者多列组成的，只要能够根据...

面试题答案参考：https://www.nowcoder.com/discuss/929016   1、实习经历   这点不多说了，根据自己的来就行   2、工作中最难的点   一般都会提前回顾之前自己遇到的问题，根据自己的来   3、如何保证数据质量    这里主要是阿里对数仓的一些数据质量保证原则   1、数据质量保障原则   阿里对数据仓库主要从四个方面评估数据质量   1）完整性   确保数据不存在缺失   2）准确性   确保数据不存在异常或错误   3）一致性   体现在从业务仓库加工到数据仓库，再到各个消费节点，必须是同一种类型，长度也需要保持一致。   4）及时性   确保数据...

1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务） 9、Kafka的基本架构？10、RXR队列（不知道是什么东西）11、Kafka的partition副本写数据是怎么写的？12、Kafka副本的leader是怎么选出来的？13、有没有了解Kafka的架构设计？14、讲一个最熟悉的集合？（答了HashMap）15、ArrayList是怎么实现的？Link...

1面（1h）8.2    项目介绍 MapReduce提交作业流程 MapReduce和spark的区别 HDFS架构 HDFS写流程 groupByKey和reduceBykey的区别 算法题（实现一个类，插值（已存在就false，不存在就插入），删除值（不存在这个值就返回false，存在就删除），随机获取已存储的值，三个功能时间复杂度为O(1)）   2面（45min）8.10     项目介绍 数仓理解 java八股（记不太清了） 双亲委派机制 题目：实现双亲委派接口    3面 （1h）8.18     自我介绍 项目难点展开讲讲 算法题：不难，一个排序就解决了 情景题：百度海量搜索词...

一面时间：2022.10.13 星期四 10:30-10:45       和HR聊天比较多       自我介绍   是否了解就业地点？   兴趣爱好   优缺点是什么？   现在有没有女朋友？（？？？这都要问，哈哈哈）   是否考虑考研？为什么？   大学期间参加过什么项目？简单介绍一下   面对一个新技术怎么去学习？   大学期间最后悔的事？   期望薪资是多少？      ------------------------------------------------------------------------------------------------------------...

问过的一些公司：字节x2，小米×2，平安，阿里x 2，海康，美团x2，一点咨询，趋势科技，快手x2，阿里云社招，祖龙娱乐，360，字节社招，端点数据(2021.07)，大华(2021.07)，触宝(2021.07)x2，携程(2021.09)   参考答案：   RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。   RDD特点   RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个新的RD...

推荐阅读文章列表：大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线 一、前言7月11日，百度开启了2024届校园招聘提前批专场！！！同学们不要担心没准备好，只用准备到8成即可，赶紧投起来，hc有限！！！为了帮助大家收割百度提前批offer，最近整理了一些百度高频的面试题，题目不多，建议全部吃透！！！二、高频面试题总结1. Flink里面断流怎么处理线上断流指的是在变更过程中导致下游数据延迟的时长解法 1：双链路切换。此解法的关键是再搭建一条相同的实时链路作为备用链路，当变更有状态 SQL 时，可以在备用链路上做回溯，重新计算历史数据，回溯完成后先验证备用链路的结果数...

Spark面试题——数据倾斜调优   1、数据倾斜   Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题    例如，reduce点一共要处理100万条数据，第一个和第二个task分别被分配到了1万条数据，计算5分钟内完成，第三个task分配到了98万数据，此时第三个task可能需要10个小时完成，这使得整个Spark作业需要10个小时才能运行完成，这就是数据倾斜所带来的后果   数据倾斜俩大直接致命后果    1）数据倾斜直接会导致一种情况：Out Of Memory   2）运行速度慢   ...

1、实习的工作内容是什么？2、有写过UDF吗？如何实现UDF？3、UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？4、UDTF了解吗？5、Hive的窗口函数有了解过吗？6、开窗函数Over()中有没有orderby有什么区别？7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、Flink最新版本是多少？新旧版本有什么区别？11、有没有了解过Flink的窗口函数？12、离线数仓做了什么工作？13、数仓为什么要分层？14、实时数仓也要像离线数仓那样分层吗？15、开发数仓的过程中有哪...

大数据面试题——Flink面试题（一）：https://www.nowcoder.com/discuss/1025734     大数据面试题——Flink面试题（三）：https://www.nowcoder.com/discuss/1027153   6 Flink的基础编程模型了解吗？     上图是来自Flink官网的运行流程图。通过上图我们可以得知，Flink程序的基本构建是数据输入来自一个Source，Source代表数据的输入端，经过Transformation进行转换，然后在一个或者多个Sink接收器中结束。数据流（stream）就是一组永远不会停止的数据记录流，而转换（tra...

1、常规性能调优一：最优资源配置   Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的 ，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。   资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单所示  /usr/opt/modules/spark/bin/spark-submit \   --class com.atguigu.spark.Analysis \   --num-executors 80 \   --driver-memory 6g \   --executor-me...

线下群面：五分钟读题，然后每人简单自我介绍+说出对题目的答案，然后讨论20分钟，最后5分钟派一个人总结。题目：（2选1）1、如何构建数据中台？2、设计一个智能家居，应该有哪些功能？用什么技术实现这些功能？测评：性格测试+图形推理+资料分析二面：1、自我介绍2、详细介绍一下项目3、实习的数据框架和项目的数据框架有什么区别吗？4、数据采集还了解其他工具或架构吗？5、数据加工处理还了解其他工具或架构吗？6、数据对外提供服务还了解哪些工具？7、介绍一下实习中大数据开发的流程和规范8、编译原理、数据库原理有了解过吗9、做题，说思路就好：（不用借助其他平台，想思路就好）上百T数据，里面有手机号，有5台机器...

为什么会产生yarn，解决了什么问题，有什么优势？    简单来说，yarn是为了针对MRV1的各种缺陷提出来的资源管理框架    详细介绍如下   Hadoop 和 MRv1 简单介绍   Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。     一个 Hadoop 集群可分解为两个抽象实体：MapReduce 引擎和分布式文件系统。MapReduce 引擎能够在整个集群上执行 Map 和 Reduce 任务并报告结果，其中分布式文件系统提...