京东-大数据开发凉经

状态最差一次面试，整个人在漫长春招一个多月后开始说话语无伦次+脑袋不转。0. 面试官自我介绍，问实习时间1. 自我介绍，简单讲项目2. neo4j底层怎么存储：基于磁盘的二进制文件存储3. 故障怎么办：故障检测、宕机恢复4. 访问量增加怎么办：水平扩展、读写分离、索引缓存（redis5. redis怎么数据一致性：单线程保证了、主从同步、持久化机制6. py的dict怎么安全多线程？加锁7. py线程池 threadlocal：忘了8. 分布式负载均衡的算法：rr、wrr、随机、加权随机、最少连接9. CAP：一致性可用性和分区容忍不可兼得，一般舍弃C或者A10. 项目和hdfs的区别：算法上，结构微调11. 知道其他大数据组件吗：没咋看12. 分布式系统总结 共通的特点解决问题和架构：解决一致性可用性分区容忍、负载均衡容错。。架构是分namenode和后面存储node13. 解决数据一致性的方法：2PC预提交 + 正式提交、投票、最终一致性14. 场景：py 生产者消费者 时间戳数据 怎么实现15. Queue有界的话怎么办？丢异常16. 报错怎么解决：重传、调速度17. queue锁怎么设计：互斥锁、又说了乐观锁桶锁好像跑题了。。应该有条件变量？18. 加整个queue还是怎么加？生产者生产的时候消费者没办法消费：只锁关键小段代码19. 假设分布式系统十亿数据挑选最大top10：每个服务器选top10然后归并。选的算法可以hashset、可以bitmap、可以堆排，考虑到内存。20. spark用py写的？对。。21. 卡夫卡用过：恩22. 反问感觉又要凉了，自己面的方向太多做的东西又杂.. 路漫漫其修远兮😌

自我介绍实习拷打做题：一道算法两道sql反问

一面（4-7）：--大数据相关内容--    拷打用SparkSQL迭代计算的合作项目（常规问题：如你负责哪一部分，做什么内容，难点是什么，价值点在哪里）    Spark和MR区别    Spark宽窄依赖，DAG流程图    Spark和Hive对数据倾斜的处理    Hadoop指的是什么（狭义，广义上来答）    你还用过哪些大数据组件（sqoop,presto,zookeeper）    sqoop用来做什么    presto和Spark的区别是什么    zookeeper干什么用（高可用，不过我只知道理论基础，这一块实操我不负责）    维度建模和范式建模的区别（面向分析和面向事务，一个为了分析可以接受冗余，另一个则尽量拆分表直到没有冗余）    --之后就偏离大数据，侧重于基础知识的考察--    数据库的索引（不会，g）    数据库设计一个图书管理系统，用范式建模理论，要有哪些表和字段（很久之前的课设，所以答得很一般）    http和https（久远的知识，只答了一个后者比前者更安全）    tcp三次握手（有点印象，草草讲了一下）    tcp和udp区别（大二学的，忘完了,g）    数组和链表（简单讲了一下存储地址与增删改查的时间复杂度）--算法--    二分查找（ez）    --sql--    1.统计每个用户每天每种支付方式的总金额（没有数据，只有字段，愣了一下之后解决了）        user_id        pay_method（有两种支付方式）        date        count    2.连续三天登录（sql中经典的难题，但做法死板，多做几遍就会了）--面试官解释--    实习侧重综合能力，所以问了很多大数据之外的内容，这点和秋招有一定差别二面（4-9）：--大数据相关内容--    拷打数仓构建的学习项目    数据仓库为什么分层    数据仓库怎么分层（结合项目讲）    数据仓库分层后每一层的作用（结合项目讲）    缓慢渐变维怎么处理（SCD1,SCD2,SCD3）    SCD2好处，弊端（保留历史数据的同时更新数据，数据冗余比较多（但面试官一直追问还有吗....榨不出来了啊））    拉链表具体怎么做,end_date有什么用    hql怎么翻译成MR程序的（偷面经背了一下）    MR流程详解（看过好多版本的MR流程，挑了一个背了）    select ... from t1 join t2 group by ...  这个SQL执行，要运行几个MR（不会，跟面试官说是两个）    如果用了map join，上面的SQL运行几个MR（不会，跟面试官说是一个（因为mapjoin不用shuffle））    （这个问题后来研究应该都是跑两个MR，但是mapjoin实践检验太麻烦了，就没深究了）--其余知识--    现在我们正在进行的视频通话，用到哪些网络传输协议（一面结束把tcp和udp区别背了一下，于是乎答了个udp）    大学期间还学了那些课（就怕说漏嘴了后考我陈年老课）    读过哪些大数据相关书籍（大数据之路，还有一些阿里开发的规范文档）--算法--        大数相加（输入是很长的数字字符串）   --sql--    统计每天城市消费占比前十的用户和他们消费占区域总消费的多少（猪脑过载，逆天了）    用户表:        user_id        city_id        date        product_id        count    区域表        city_id        area_namehr面（4-14）： --常规问题--    为什么放弃深造    你对在北京工作的看法    职业规划    你给你前两轮面试打几分，为什么    你为面试字节做了什么准备    你对我们部门了解多少    没有工作经验，怎么适应公司业务    工作后你要怎么尽快适应环境oc（4-17）--------------------------------------面经到此为止，后面是一些求职感想----------------------------------------------------历程--求职本就是一个运气和实力交织的过程，这次面试凭借自身发挥和一定运气拿下offer了，但3-4月背后也有很多失败腾讯面五挂四（传奇耐挂王）    京东面二挂二    百度挂    美团挂    快手挂    字节hr面挂（挂了之后复活赛打赢了）阿里系（阿里云，携程，陶天，饿了么等）万兴，360 ...  笔试就挂了...往好的方向想，做最坏的打算。该干嘛干嘛就可以了，太注重失败就没心思学习了（而且很多kpi面没必要内耗）。希望每个人都可以得到心仪的工作，希望努力的人都有光明的未来

  数据开发工程师岗位描述： 1、负责工业数据仓库建设，包括离线模型、实时模型、数据指标、数据画像等建设工作；2、负责工业数据服务化建设，包括数据 api、数据大屏、数据产品等建设；任职资格： 1.计算机等相关专业本科以上学历。 2.熟练掌握数据仓库相关技术，包括HDFS、Spark、Hive、Presto等。3.熟练掌握实时开发技术，包括Flink、Kafkka、Hbase、ClickHouse 、Doris等；3.熟练掌握数仓建设方法，包括独立数据主题域建设能力、ETL、作业调度、质量保障等能力；  4.熟练掌握sql、python、java中至少一种编程语言。 5.有良好的业务理解能力和商业sense的优先。