数新智能-大数据开发实习岗位面经

以下是本人在大数据方向的技术栈学习路线，另外还有诸如HBase、Kylin、实时数仓项目、数据湖项目、湖仓一体等。下面列出的是基本所必须掌握的内容。对于项目方面，建议先离线后实时开发的学习，再之后便是数据湖等项目。另外推荐可以经常翻看《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。类似阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1、Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以了，不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架（除了平台开发之外），像Spring这些web框架，在学习完所有的大数据框架之后，找工作之前如果还有时间，可以去学一学这些框架【加分项】）2、Linux+Shell3、Git、Maven（了解会用，有印象，如果需要使用能快速学习上手使用即可）4、Hadoop（HDFS，MapReduce，Yarn）5、Zookeeper6、Hadoop高可用（了解即可）7、Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）8、Spark（大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等）9、Flume10、Kafka（时间紧张的话，可以先放一放，和Flink一起学，kafka+Flink+Spark是处理实时数据的）11、Maxwell、DataX、Dolphinscheduler（项目中数据同步、模拟日常调度工作）12、sgg电商数仓x.0（跟着做完这个项目，就知道什么是数仓，什么是维度模型，什么是指标等等，以及生产中一些内容）13、Flink14、MPP架构（类似Doris、Clickhouse）15、实时数仓项目16、数据治理17、数据湖、湖仓一体18、刷算法、刷sql、刷场景题

隔天1017约的2小时，做三个编程和一个简单：题目1-【SQL实现】学生成绩查询某年级期末考试成绩表，包含信息：student_no(学号）, sourse_no(课程)，score(成绩)。想做如下统计：1、统计每个学生的总分，排名，当前排名与下一名次总分差（如：第n名总分-第n+1名总分，即为分差）；2、统计至少两门挂科（score<60），并且总分排名在年级所有人倒数10位的学生各科成绩；题目2-【SQL/代码实现】活跃用户查询背景说明：以下表记录了用户每天登陆某APP的日志记录流水。table_name：user_login_dataseq(key) user_id data_d...

60min左右自我介绍+实习经历介绍一下shufflespark性能优于mapreduce的原因介绍一下宽窄依赖HDFS小文件问题在实习过程中处理过任务优化吗？大数据倾斜问题怎么处理？spark调优手段？Flink的Watermark机制TCP 和 UDP可以简单介绍一下三次握手吗？数据库里边为什么要使用索引B树跟B+树有什么区别点？B+数还有什么特性吗？索引在哪些情况下会失效？介绍一下python深浅拷贝多态了解吗？Java里边的hashmap了解过吗？代码考核一道sql+一道算法题sql：找出至少连续两天在线的用户数算法题没做出来..面试官人很好一直在提醒我，但是还是没做出来..我一直哭继续刷leecode去了

50分钟，是技术面，但是有点像综合面。自我介绍1.问简历里的cv项目，简单介绍下工作内容（）2.细说方案过程3.这个过程当中怎么解决边界伪影的问题4.解决哪些痛点5.为什么这样设计方案就能拿cv国际比赛第一名6.问简历里的web服务器，简单介绍下工作内容7.为什么web服务器支持高并发8.epoll采用什么数据结构9.红黑树为什么存储和取用高效？10.问美团数开实习了，介绍业务11.这个流程当中，我扮演的角色是？12.广告流程的cps、cpc区别13.怎么按维度进行数仓建模？14.你从中最大收获是什么15.你最有自豪感的一件事是什么16.为什么不去上海美团？17.觉得自己的缺点是什么？反问：流...