上海 xxx 大数据面经

1.短期和长期方向为什么选大数据开发2.数据开发的核心价值，和对岗位的认知3.数据岗位的人员应该有什么样的能力4.宏观角度看数据的处理流程，该了解哪些技术栈5.实习期间遇到的最大问题和解决办法6.清晰介绍实习项目的业务逻辑简单题和编程 40 分钟Q1.给定sq1语句:7.问索引加在什么字段会提高查询速度8.内连接join是小表驱动大表还是大表驱动小表9.sq1执行顺序:where->J0IN->GROUPBYか香Q2.给定两个一对多的表A和B。10.问A left join B有哪几条结果Q3.给定sq1语句。11.问有多少个Map Reduce过程Q4.sq1编程，求表的互关对user love1 22 11 3返回（1，2）即可反问

1.实习项目主要内容是什么?2.会java吗?3.说下数仓建模的分层4.说下维度模型5.星型模型和雪花模型的区别6.什么情况下使用星型/雪花模型更好7.HDFS读流程?原则是什么?8.了解spark吗?说一下宽依赖和窄依赖?9.了解 flink吗?10.hiveSQL怎么优化?搞成说明HQL的提交流程了11.机器学习的一些基本算法?12.英语口语可以吗?反问1.大数据开发是以java为主吗？2.基于前面的面试表现，如果想从事大数据开发，有什么需要加强的吗

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

1、挑一个项目介绍一下2、实习询问（5min）3、项目拷打（20min）4、谈谈 Java 的 HashMap5、线程池的核心参数6、线程池从没有任务到繁忙起来，再到空闲这个过程中，参数是如何变化的？7、谈谈浅拷贝和深拷贝的区别8、谈谈 Java 的 String 是怎样的结构？内部怎么设计的？9、String 类在加载后会存在什么区域？10、谈谈 JVM 的内存模型11、GC 算法有哪些？每种算法应用在什么场景？12、谈谈 CMS 垃圾回收器的回收过程13、CMS 在哪些阶段会 Stop The World？14、谈谈 G1 和 CMS 的区别15、如何排查 OOM 问题？16、如何排查 CPU 100% 问题？17、日常开发过程中对于类冲突或者 jar 包冲突，如何去解决？（加载第三方包，和自己的环境不适配）18、MySQL 怎么去排查慢 SQL？19、谈谈 MySQL 的 InnoDB 存储引擎的索引结构20、为什么 InnoDB 不选择 B 树或者红黑树？21、MySQL 的排序 order by，对于大数据的排序，是怎么实现的？