腾讯wxg数据工程求面经

9.14投递9.15约一面9.16一面下午oc

时间：45 分钟自我介绍项目拷打浏览器和服务器之间如何消息传递？http协议是否安全？需要如何加密服务器如何找到对应用户？讲讲JWT鉴权redis的哈希表是如何实现的除了kafka，消息队列中间件还有哪些为什么需要布隆过滤器？有什么衡量指标进程间、线程间通信方式进程和线程的区别？怎么建立介绍c++迭代器，几种容器中迭代器的表现常见的排序算法及其时间复杂度与是否稳定如何解决哈希冲突内存泄漏的检测工具以及解决方法手撕：最大为 N 的数字组合（hard）反问

场景优化方面：怎样解决数据倾斜的，主题域的划分，数仓分层的作用；你是如何进行数据同步的大数据组件八股：了解到什么大数据组件，分别有什么作用；HDFS怎么读取文件；spark宽窄依赖sql方面：手撕或者口述连续登录思路；留存率问题；简单点就是两表连接

问获取电池电量信息后，spark怎么计算平均耗电（？）速率上来第一个问题，我没重视随便答了一下用DataFrame存储，然后用SparkSQL处理，计算差值什么的（感觉应该是不太满意）面试官给的场景题，描述的非常模糊，大致意思就是收集到每10分钟的电车电池剩余电量的数据，问我用Spark怎么算电池消耗速率求大佬解析，主要是不清楚面试官想考的是什么，挂的也是云里雾里9.10 一更：现在想想， 第一题可能是： 先切分分区，然后看有无数据倾斜，如果有加盐打散 然后开始预聚合（大概） 然后就考虑按什么聚合，什么业务需求 估计还要sort merge join，归并排序+溢写9.12 二更：现在想想可能...