12.Spark 能产生shuffle的算子reduceByKey、sortByKeyrepartition、coalescejoin、cogroup13.Spark里的reduce by key和group by key两个算子在实现上的区别并且说一下性能groupByKey只能分组，不能聚合，而reduceByKey包含分组和聚合两个功能reduceByKey会在shuffle前对分区内相同key的数据进行预聚合（类似于MapReduce的combiner），减少落盘的数据量，而groupByKey只是shuffle，不会进行预聚合的操作，因此reduceByKey的会高一些14.Spar...

1.Spark有哪几种部署模式本地模式：常用于本地开发程序与测试集群模式：standalone模式：只使用spark自身节点的运行模式yarn模式：yarn作为资源调度框架的运行模式mesos模式：Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务2.spark on yarn的工作流程首先spark的客户端将作业提交给yarn的RM，然后RM会分配container，并且选择合适的NM启动ApplicationMaster，然后AM启动Driver，紧接着向RM申请资源启动executor，Executor 进程启动后会向 Driver 反向注册，全部注册完成后 Dri...

1.Flink的组成jobmanager：相当于一个集群的Master，是整个集群的协调者，负责接收jobtaskmanager：实际负责的Workerclient：flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client2.Flink流批一体解释一下Flink 使用一个引擎就支持了DataSet API 和 DataStream API。其中DataSet API用来处理有界流，DataStream API既可以处理有界流又可以处理无界流，这样就实现了流批一体3.Flink和SparkStreaming区别第一，计算速度的不同，flink是真正的实时计算框架，而...

1.zookeeper简单介绍一下，为什么要用zk？Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目（文件系统+通知机制）zk的应用场景：统一命名服务：在分布式环境下，经常需要对服务进行统一命名，便于识别，例如ip地址统一配置管理：在一个集群中，要求所有节点的配置信息是一致的统一集群管理：在一个集群中，需要实时监控每个节点的状态变化负载均衡：在zookeeper中记录每台服务器的访问数，再次请求的时候，让访问最少的服务器去处理当前请求2.zk的数据存储，当重启后怎么重构zk的数据模型zk中的数据是保存在节点上的，节点就是znode，多个znode之间构成一棵树...

所有题目链接：史上最全的大数据开发面经及答案汇总【字节跳动】1.介绍一下Hadoop hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据存储与计算的问题，主要包括HDFS、MapReduce和Yarn框架。2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce了解（建议浅看一下）3.hdfs源码你知道的话，讲讲元数据怎么管理的？Namenode对元数据的管理采用了三种形式：内存元数据：基于内存存储元数据，元数据比较完整fsimage文件：磁盘元数据镜像文件，在NameNode工作目录中，它不包含block所在的Data...

2.存储优化在分布式系统中，为了提高数据的可用性与性能，通常会将数据存储3份，这就意味着存储1TB的逻辑数据，实际上会占用3TB的物理空间。数据压缩阿里的大数据平台提供了archive压缩方法，可以将数据保存为RAID file的形式，数据不再简单地保存为3份，而是使用盘古 RAID file 的默认值（6，3）格式的文件，即 6份数据＋ 3份校验块的方式，这样能够有效地将存储比约1:3提高到1:1.5，大约能够节省一半的物理空间。缺点：如果某个数据块出现了损坏或者某台机器宕机损坏了，恢复数据块的时间将要比原来的方式更长，读的性能会有一定的损失应用场景：一般应用在冷备数据与日志数据的压缩存储上...

1.计算优化主要从数据倾斜方面讨论任务优化Map倾斜为什么Map的主要功能是从磁盘中将数据读入内存，由于读入数据的文件大小分布不均匀，因此会导致有些map task读取并且处理的数据特别多，而有些map task处理的数据特别少，造成map端长尾。以下两种情况可能会导致Map端长尾：上游表文件的大小特别不均匀，并且小文件特别多Map端做聚合时，比如map join，某些map task读取文件的某个值特别多怎么办针对第一种情况，可以对上游的小文件进行合并，通常就是调整小文件的参数来进行优化，比如 调节map任务的map task的数量，以及 调节单个map task读取的小文件个数。针对第二种...

很多刚开始学习大数据的同学还不知道数仓是什么？数仓的资料很少，面试如何准备该部分？数仓hc远多于数开hc？ 【是的】很多同学offer上写的虽然是大数据开发工程师，其实仍然是数仓开发的岗位？ 【是的】首先我们明确一下数据仓库是什么？数据仓库是一个面向主题的（比如订单、商品、会员）、集成的（来自不同数据源的统一数据规范比如男女的取值，命名规范的统一，字段类型的统一）、非易失（一般不会进行删除和修改操作）且随时间变化（并不是数据会变，而是数据随着时间会不断增多）的数据集合，主要用于存储历史数据，然后通过分析整理进而提供数据支持和辅助决策。【面试问到，就这么回答，绝对满分答案】接下来聊一下数仓面试如...

很多小伙伴在跟我交流的过程中，会问我这样一个问题："大数据框架这么多，学了有啥用，有没有一些框架可以不学，企业里面开发要求会用这么多框架吗"我刚开始学习大数据的时候也和大家一样，这么多框架，不知道从何下手，又想速战速决，还不知道自己学习的内容是否能够对付未来在企业的开发工作...之前自己在学习大数据的时候浪费了很多的时间，这里为了帮助大家在学习大数据的时候少走弯路，同时也是对自己过去三年学习大数据过程的一个总结，今天就好好跟小伙伴们说一说如何高效学习大数据，一路直通大厂！！！学习路线预览编程语言Java：对于目标岗位是数仓开发的同学来说，只需要学习Java基础部分即可，后续有时间建议学习一下W...

问题描述：有一张tmp表，字段分别是 开始时间start_date，结束时间end_date，欠费金额amount 2015-03-02 2015-03-05 10 2015-03-04 2015-03-06 20 输出描述：用户每天需要还的金额 2015-03-02 10 2015-03-03 10 2015-03-04 30 2015-03-05 30 2015-03-06 20 分析：根据题目描述的输入输出，很容易知道思路哈，就是想要把从开始时间到结束时间的每一条数据都拆开存储，然后根据日期去聚合就可以得到每天的欠费金额了，所以难点就在于如何根据一个起始时间来进行拆分呢？一行转多行，让我...

这是一篇总结了牛客网中10+篇字节大数据开发面经的文章，希望能够对大家有所帮助本篇后续将会持续更新~~~ 【不断更新答案】Hadoop篇1.介绍一下Hadoop hadoop是什么2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce3.hdfs源码你知道的话，讲讲元数据怎么管理的？4.hdfs 你知道namenode的问题吗？怎么解决？应该就是联邦机制5.hdfs写数据流程6.namenode如果挂掉了怎么办 【HA配置】7.说一下mapredeuce 8.哪个阶段最费时间，环形缓冲区的调优以及什么时候需要调 shuffle：排序和溢写磁盘 原则上说，缓冲区越大，磁...

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。经过无数场的面试，不断总结，终于摸清了面试官到底喜欢问哪些问题。今天把自己总结的一些内容分享给大家，欢迎大家补充讨论！！！ps：这里仅提供了部分大数据开发面试的相关内容1. MapReduce的原理map阶段：首先通过InputFormat把输入目录下的文件进行逻辑切片，默认大小等于block大小，并且每一个切片由一个maptask来处理，同时将切片中的数据解析成<key,value>的键值对，k表示偏移量，...

前言：如果你面试的是金融信贷行业的公司，那么如果你懂一些这方面的业务知识，面试官一定会眼前一亮！！！本篇主要介绍金融信贷的线上模式——网贷，主要从网贷的业务模式和业务指标来介绍一些基本业务知识网贷的业务模式网贷最重要的三部分：资金（钱从哪儿来）风控（风险控制）获取用户（用户从哪里来）业务指标用户类指标申请用户数：完成贷款申请行为的用户放款用户数：通过审核并成功放款的用户复借用户数：借款次数超过一次的用户复借率：通常会结合时间维度，比如30天的复借率=首次放款用户中30天内复借的用户数/首次放款用户数申请情况类指标审批通过率：放款用户数/申请用户数（用于衡量审批策略的稳定性）逾期类指标用于量化公...

请各位同学注意了，发给我简历的同学们，注意确认一下内推邮件，选择的部门是 蚂蚁集团-CTO线-数据与平台技术事业群-蚂蚁智能引擎与数据中台技术事业部-数据产品与技术部，岗位是 数据研发工程师