敦煌网数据仓库实习生面试

敦煌网（电商公司面试）（感觉像是kpi面试啊）

       居然没要求开摄像头真是奇怪啊。

       首先上来自我介绍，然后等我介绍到在滴滴实习的时候打断了我让我展开说说，之后就这段实习经历提问了很多，譬如如何处理数据异常，如何进行A/Btest等；接着是学校经历，问我大数据相关的课程有哪些，有看过阿里的大数据架构之类的书吗？回答没有，过（阿里的书这么受欢迎吗？啊，这就是强者盲从效应吗？）到hive，让我描述下如何处理用户连续登录，秒杀；hive行列转换函数，秒杀；hive中json处理函数，秒杀；当我说hive的优点在于可以自定义很多函数的时候，问我UDF函数怎么写，从头讲起；IDEA->meavn项目->pom依赖->重写函数-.上传jar包->hive定义函数；在我讲完之后继续追问，udaf和udtf函数的区别在哪里，有没有用过（回答区别在于继承的类和重写函数，没实操过）。接着继续hive，在滴滴遇到过数据倾斜吗？解决方案，回答，遇到过，但没办法自己解决，基本都是拜托数仓；继续追问思路：空值随机赋值、大数量key拆解；当我说到某些reduce一直完不成时，追问我shuffle过程，接着继续问shuffle中发生了几次排序，分别是什么。最后，讲一下kafka如何保证数据一致性，即ack机制。没什么了，反问，开发平台，主要工具。

       回答的还行，但是不咋想去。