腾讯视频/体育 软件开发 数据工程岗初面

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

1.目前所在地在哪?现在有课程安排?2.面试官介绍面试的流程。3.自我介绍。4.sq1题(口述回答):要取年至今所有用户的首次及未次下单时间。5.如果在此基础上，还要求出首次及未次下单时间对应的订单 id、商品id等，应该如何处理?6.了解row_number吗?7.介绍一下实习公司的业务/产品?8.讲一下你做过的任何一个优化案例?9.有其它关于计算资源、存储的具体优化案例吗?10.介绍-下spark问题定位的流程?11.介绍一下项目涉及的核心指标?12.项目中部分指标是怎么做的(计算逻辑)?13.有没有考虑过为啥要做这些指标?14.有接触过实时项目吗?15.为什么要数仓分层?16.维度建模有哪些模型?17.有了解过大模型吗?有做过算法题吗?18.sq1题:求出所有成绩均大于80分的学生姓名?19.讲解一下代码的思路?你写的代码可以如何优化20.知道distinct和group by的区别吗?21.什么时候能到岗?22.反问环节。

一面： 1. MySQL的索引失效场景2. Redis中ZSet的底层数据结构3. Java创建线程池的方法中的核心参数及含义；另外这些参数应该如何设置，考虑哪些因素4. 主线程正在运行，然后主线程又起了10个子线程，要等待这10个子线程结束再运行主线程，用哪些方法（CountDownLatch、Semaphore等都可以）5. CountDownLatch的底层实现（AQS）；AQS底层是如何实现的（那个state，加上类CLH锁）6. 使用一个自定义的类时，然后要塞到HashMap中，需要注意什么（Equals 和 HashCode方法）；并说明如果只重写HashCode方法会发生什么，举例子7.  假如有一个电商下单场景，要求时延小于10ms的比例是N个9，如何从JVM调优角度优化效果（减少GC次数，使用STW较小的GC器）；进一步，有哪些减少FullGC次数的方法（说了调小老年代的比例、增大对象被移到老年代的年龄）8. Spring中@Transactional的失效场景，原因有哪些；如果一定要在方法内执行本类的方法，但是不能用this.调用（否则会失效），那该怎么调用9. @Transactional的底层原理是什么，如何生效的10. Spring的AOP默认是什么代理11. 如果让你设计一个消息队列中间件，那么如何保证消息不丢失，不重复；假如消息的乱序到达的，如何保证消费者能按序消费

刷算法给自己刷生气了