京东 大数据开发

📍面试公司：虾皮🕐面试时间：6.30 一面 7.4 二面 7.8感谢信💻面试岗位：大数据开发❓面试问题：主要是实习拷打数仓数据流向，具体业务介绍，业务接口跟数据的用户讲一个具体的业务，体现所用的技术栈从问题2深入，涉及到并发场景不可重复读怎么解决大数据技术栈，Spark，怎么用的，讲了怎么优化实际任务（数据倾斜/Shuffle优化）数据倾斜这里让描述下快排当前业务有没有写错数据的情况，如果当前数仓写到Kafa写错了，该怎么重新写入？比如HDFS这就错了，但写到kafa->业务表已经出问题了，怎么解决回答主要考虑一致性和重写时候服务是否可用如果让你从具体Kafka topic消费到入...

一·语言方面：由于很多大数据框架都是基于JAVA开发的，个人认为JAVA语言是必不可少的，有余力的话可以去掌握以下PYTHON😊二·数据结构与算法：大二课上没好好学，现在只能再补一遍了，悲😣打算刷完Leetcode的Hot100就先放一边，等秋招再刷别的题😇三·MYSQL:一个关系型数据库管理系统，SQL BOY的开始，初步领略通过建表来管理数据的思想，学完可以去刷一下基础50题和进阶50题（虽然本菜鸡只刷了基础50😓）四·Linux:会安装虚拟机，掌握常见linux常见命令即可五·Hadoop:一个分布式计算框架。所谓分布式，就是将一台电脑无法处理的数据量分散给一个由多台电脑组成的计算机集群来处理，互相分工，彼此合作，形成一个有机整体。框架分为三部分：HDFS（数据存储），MapReduce(数据计算），Yarn（资源调度）。虽然MapReduce已经逐渐被Spark淘汰，但思想依然值得借鉴。高可用机制也应当学习六·Maven:会用即可，打包项目用的七·Hive：也是一种SQL，有了MYSQL的基础应该还算好理解八·Scala和Spark：Spark是用Scala写的，在学习之前得先浏览一遍基本语法。Spark是基于内存的批式计算引擎，已经逐渐取代MapReduce（基于磁盘的计算引擎），APACHE也基本上停止了对MapReduce的更新（经典白学😃）。将来很多离线数仓项目也都是基于SPARK的，可以说非常重要了九·Kafka，Hbase，Flume和ZooKeeper：都是一些小组件，将来面试可能会问到十·Flink：一个流式实时计算引擎，本人JAVA基础较弱，听的时候也是懵懵懂懂当然，仅仅这些肯定远远不够，本人将来还要学Doris，数仓建模理论，数仓项目，八股面经等等。上述理解如有错误还请友好指正（叠甲叠甲叠甲😱）。这些理论也只是匆匆过了一遍（大一太贪玩，大二2月份才开始学），发布笔记也只是记录自己的学习过程，提醒自己不要懈怠（还有当个免费网盘😏）。如果能帮助到你就更好了，虽然我也比较迷茫😖

之前在上一家公司的时候，特别是校招的时候，HR一大堆简历直接甩过来筛选，本来又是大数据的岗位，某站上堆对应的老师又是SSG所以就导致大部分的简历都写了同一个数仓的项目一大堆技术栈，实现流程、结果、后续都是一摸一样而且不出意外的这些简历全部被pass也算是碰到最水的简历了简历中有水分，一般来水不算是造假，但是如果被查出来或者被问到，基本上也就上了该公司的黑名单了所以建议简历还是如实的填写，毕竟态度决定了一切

我朋友985本，清华硕，去年上岸了微软，他和我们讲过这个事情，他说前年他这个岗位一个都没有招，去年全国内地就只招了他一个，先不说面试就比国内大厂多个几倍，而且还是全英文面试，要求学历，项目，论文……绝绝对对的学历厂，等他进去之后又和我们说了，里面的大牛真的太多了，他进去之后才发现，人和人之间的差距比人和狗之间的差距都大，可想而知其中艰辛……他稍微透露过一点点，微软里面QS前50的学校多如牛毛，而且基本上都是硕士研究生起步……