大数据面试

先把题目贴出来，答案贴一部分。。。题太多了，后面陆续更新。。荣耀大数据Hive 一般有什么调优方式？Hive 的调优方式包括以下几个方面：数据分区：通过在表中定义分区，可以将数据按照指定的列进行分割，提高查询效率。数据压缩：对于存储在 Hive 中的大数据集，可以使用压缩算法对数据进行压缩，减少存储空间，提高查询性能。合理设置表的存储格式：Hive 支持多种存储格式，如ORC、Parquet等。选择合适的存储格式可以提高查询性能。使用索引：对于经常需要进行查询的列，可以创建索引，加快查询速度。调整查询引擎的参数：可以通过设置 Hive 的相关参数，如内存分配、并行度等来优化查询。数据倾斜处理：...

参考答案：MapReduce详细流程：1、准备待处理文件（200M）2、submit()对原始文件进行切片分析（128M一块，这里0-128M为第一块，128-200位第二块）3、提交信息客户端会准备三样东西（Job的切片：Job.split，jar包：wc.jar，xml：Job.xml），对这个集群进行提交。如果是本地模式，则没有jar包，正常生产模式下，都是用的YARN集群模式，所以jar包是一定有的。4、计算出MapTask数量客户端向YARN提交后，YARN会开启一个Mrappmaster（整个任务运行的老大），Mrappmaster会读取客户端对应的信息，最主要的就是读取切片信息（...

分享一下我的日常实习求职之路：目标岗位大数据开发从10月23日开始投出第一份简历，截止到前天拿到人生中第一个offer。下面是我面过得一些公司：1.携程:只有一面，问了一些基础sql ，开窗函数，一些项目相关的内容。面试官是个小姐姐，很温柔 整体体验较好。也是约到了hr面，但是因为工资有点低，就拒掉了offer2.快看漫画：两面。一面问了一些大数据的八股和sql，还有项目相关的问题。二面问了一道算法和一道思维题。算法是一道很基础的dp，但是因为我还没复习到dp 就拿回溯法写了。整体面试体验不错，面试官人很好，而且提前十分钟在面试间等我。最终因为薪资拒掉了offer。3.京东:offer。京东只...

“行行跨考计算机”，计算机的高薪毫无疑问地吸引了各专业的大佬纷纷来投，百花齐放的同时弊端也是很明显的：不好找工作，相信大家也深有体会。计算机常见的岗位无非就是算法、大数据开发、java开发、测开、前端等等，由于本人并不了解测开和前端，于是在此仅聊聊算法、大数据开发和java开发，先说大家所关心的薪资，网上有博主统计说算法>大数据>=java，此消息我只是结论的搬运工，不背锅。 首先是算法，优点很明显——高薪，缺点也很明显——要求高，很多算法岗基本上都要求有顶会顶刊的文章，退一步讲，有顶刊的大佬可能会被导师劝读博吧（虽然大家不一定听，毕竟工作这么卷，读博后留校真的很不错，我很羡慕），...

Spark的任务执行流程Spark的任务执行流程如下：用户编写Spark应用程序，程序中包含RDD的创建、转换和动作等操作。Spark应用程序通过SparkContext连接到集群的主节点，SparkContext是与集群交互的入口点。当SparkContext连接到主节点后，它会向集群管理器（如YARN或Mesos）请求资源，并启动驱动程序进程。驱动程序进程会将应用程序转化为有向无环图（DAG），DAG中的节点表示RDD，边表示RDD之间的依赖关系。驱动程序将DAG提交给集群管理器，集群管理器将任务分发给集群中的工作节点。每个工作节点上的任务执行器会根据任务的依赖关系和数据位置从磁盘或其他节...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！2024 年的求职情况，很多小伙伴都已经感受到了，虽然企业逐步放开了招聘规模，但是裁员造成的人才涌入加速了求职内卷。所以我们不能期望像以前一样，随便扔个简历都能被捞起来面试，或者不针对性的准备就想拿到 offer。大纲介绍：误区：面试 != 基础知识题问答分析人岗匹配度利用简历引导面试官挖掘自己的核心竞争力常见知识点准备面试细节小 tips长期主义选 offer1. 误区：面试 > 基...

1、 是找大数据还是算法？2、 对大数据领域的了解？3、 从0-1建设数仓，你怎么做？4、 数仓建设规范，依据？5、 没想一块去，他想问建模思想之类的。维度、范式6、 会哪些技术栈？7、 Hadoop讲讲吧？8、 为什么要有Hive，Hive作用？9、 详细讲讲MR？10、 数据倾斜发生的位置？11、 Combiner了解吗？12、 什么情况下不能用Combiner？13、 Sum、Count、Count(distinct)哪些能用、哪些不能用Combiner？14、 理由呢？15、 MR中几次排序？16、 开窗函数用过哪些？17、 row_number()在MR怎么发生的？18、 Spark...

接口和抽象类的区别接口和抽象类是面向对象编程中常用的两种抽象概念，它们的区别如下：定义方式：接口是一种完全抽象的类，只定义了方法的签名，没有任何实现代码；而抽象类是一种部分抽象的类，既可以定义方法的签名，也可以包含部分已经实现的代码。继承方式：一个类可以实现多个接口，而且接口之间可以通过继承来扩展功能；而一个类只能继承一个抽象类。实现方式：实现接口的类必须实现接口中定义的所有方法，没有任何灵活性；而继承抽象类的子类可以选择性地实现或覆盖抽象类中的方法。构造方法：接口不能有构造方法，因为接口不能被实例化；而抽象类可以有构造方法，用于子类的实例化和初始化。成员变量：接口中只能定义常量，不能定义成员...

昨天的文章里总结了荣耀大数据面试总结！欢迎关注我！知乎大数据Flink 的 Checkpoint 是什么？Flink 的 Checkpoint 是一种机制，用于实现流式应用程序的容错和恢复。它是将应用程序的状态信息定期保存到持久化存储介质（如分布式文件系统）上的过程。Checkpoint 可以在应用程序运行过程中定期触发，或者在特定事件发生时手动触发。当触发 Checkpoint 时，Flink 会暂停应用程序的执行，并将应用程序的状态信息保存到可靠的存储位置。这包括保存所有的数据流源的当前状态、所有算子的状态以及所有的连接和缓冲区的状态。通过定期触发 Checkpoint，Flink 可以将...

感兴趣的同学可以来b站我的直播间做模拟面大数据开发方向哈，不是大数据平台开发

继续！！！！猫眼大数据Java String builder和String buffer区别？Java中的StringBuilder和StringBuffer都是可变的字符串类，它们之间的主要区别在于线程安全性和性能。线程安全性：StringBuilder是非线程安全的，也就是说它的方法没有被同步，不适用于多线程环境。StringBuffer是线程安全的，它的方法都被同步，适用于多线程环境。在多线程环境下，使用StringBuffer可以保证数据的一致性和正确性。性能：StringBuilder相对于StringBuffer具有更好的性能，因为StringBuilder的方法没有被同步，不需要...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

大家好，我是蓦然，阿里的大数据之路算是现在值得一读的书之一，现在我也陆陆续续做了一些简要笔记，可以让准备校招的同学们快速了解下这本书主要讲了什么，有哪些重要知识点。《阿里大数据之路》读书笔记：第一章 总述一、浏览器的页面日志采集浏览器的页面型产品/服务的日志采集可分为两大类：页面浏览（展现）日志采集指一个页面被浏览器加载呈现时采集的日志此类日志是最基础的互联网日志此类日志是目前所有互联网产品的两大基本指标（页面浏览量（Page View，PV）和访客数（Unique Visitors，UV））的统计基础页面交互日志采集用户操作记录1.1 页面浏览日志采集流程主要是为了对指标网页浏览量（PV）和...

1、 你在XX实习，拿到XXoffer了吗？2、 如果阿里给你offer了，你选择阿里还是XX？3、 对于工作地点的选择？4、 笔试你觉得做的怎么样？5、 实习或生活中啃骨头问题，就是难点，怎么解决的？6、 在你的班级同学有矛盾任何解决？7、 你是个外向还是内向？8、 问大数据相关内容，Hadoop的四大组件？9、 讲讲MapReduce、和Spark的区别？10、 了解Shuffle吗？11、 数据倾斜如何处理？12、 还有其他情况吗？13、 Java的String可以继承吗？14、 Java的抽象类和接口有什么区别和联系？15、 接口中的方法可以定义？16、 Python的*args和**...

​我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！某个task莫名其妙内存溢出的情况这种情况下去定位出问题的代码就比较容易了。我们建议直接看yarn-client模式下本地log的异常栈，或者是通过YARN查看yarn-cluster模式下的log中的异常栈。一般来说，通过异常栈信息就可以定位到你的代码中哪一行发生了内存溢出。然后在那行代码附近找找，一般也会有shuffle类算子，此时很可能就是这个算子导致了数据倾斜。但是大家要注意的是，...

一位搞大数据的朋友总结的，公种号里干货超级多，秋招有需要的宝子自取哈～另外需要内推【海康威视/蚂蚁集团】的也可以**～原文链接接： https://mp.weixin.qq.com/s/SreEG3hP_31RiYdrG2mdug

1、 高中、大学、研究生专业的选择2、 实习的收获，相比于自己在校有什么不同？3、 实习项目整体情况，个人负责内容？4、 技术提升和沟通、总结能力提升说的太笼统，能展开讲讲吗？5、 研究方向的问题？6、 你的和业界的区别？7、 创新点？8、 实习项目你觉得7天周期如何？9、 你自己项目的难点？10、 那你为什么还会考虑继续秋招？11、 目前还报了哪些公司，在什么阶段？12、 阿里这面你还有哪个？13、 你对前两轮面试做个评价？14、 对我们有什么建议吗？

1. Flink 的核心组件：JobManager 和 TaskManager在 Apache Flink 中，JobManager 和 TaskManager 是分布式执行的核心组件，负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑，它主要负责三个方面的工作：•作业调度： 接收用户提交的作业，并将这些作业拆分成不同的任务。•资源管理： 与 Flink 的资源管理器（如 YARN 或 Mesos）协作，为作业分配必要的资源。•容错与状态管理： 控制作业的执行，包括容错机制。负责设置检查点（checkpoints）来保存作业的状态，以便在失败时...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案八：参数调优shuffle相关参数调优以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。Spark 参数优化详解以下列举了Spark参数调优的一些关键参数及其优化建议：1. spark.shuffle.file.buffer (默认值：32k)该参数用于设置 shuffle write task 的 Buf...