快手秋招数据开发面经

1.mapreduce执行流程2.hdfs如何保证数据一致性3.flink和kafka如何保证数据的一致性4.flink的checkpoint里的barrier对齐和非对齐分别如何实现exactly-once；非对齐实现需要怎么做？5.kafka如何保证数据一致性6.spark和mr的shuffle有哪些区别7.spark的内存参数一般怎么调整；一般集群的spark内存参数会在什么样的一个级别？8.数仓分层，每一层有什么作用？具体的全链路流程是什么样的？9.维表应该如何进行设计？10.用户画像如何搭建？11.然后是一些数据结构的考察。12.然后是两道sparksql题，不难。其中一个是考察数据构造，需要对sparksql有较深的使用了解。

文：Leon编辑：侯煜在市场饱和、消费者延长购买周期的情况下，2025 年上半年全球智能手机出货量同比下降 1%，呈现出疲软态势。《华尔街日报》此前评论称，2025 年对苹果 CEO 蒂姆・库克而言堪称战略承压的一年—— 特朗普政府对华关税政策的反复调整，不仅推高了苹果供应链成本，迫使公司在全球产能布局中艰难权衡，更让这位科技巨头的掌舵人陷入持续的不确定性。在此情况下，原本不被看好的苹果 iPhone 17 系列成为一匹黑马，上市后销售极为火爆，尤其是中国市场的表现远超预期：首发 10 天销量同比增长 14%，第三季度出货量达 1010 万台，成为头部厂商中唯一实现正增长的品牌，这一振奋人心的...

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

自我介绍知道B+树吗？背包问题，讲解一下如何解决01背包问题思路，动态规划的思想建表索引的使用要遵循哪些原则最左前缀原则有了解吗用户表用户数据比较多，几十亿，怎么做优化，单表无法承担这么大的数据量，怎么解决TCP协议是工作在那一层的TCP和UDP的区别Linux常用的命令哪些Spring 循环依赖问题，怎么解决synchronized 是否用过，实现原理是什么样的ThreadLocal 是否了解过，怎么实现的简历上的项目是个人做的，还是团队做的做的项目遇到什么难点项目中某一个功能开发，是否用到什么设计模式进行规划模拟实现Rabbitmq项目介绍一下反问#发面经攒人品#