腾讯 数据工程一面

1. 自我介绍
2. 用Hive还是Spark,比较了解哪个
3. spark问题定位流程,以及解决方法
4. 现在有一个任务跑的很慢,你如何去定位
5. 介绍一下广播和Shuffle的区别,以及Shuffle为什么会比广播慢?
你这里面之前说到的大部分都是在数据传输上,包括涉涉及到一些网络会导致它传数据量大比较慢嘛。
6. Shuffle将各个节点的数据传输到另一个节点之后,会做什么操作呢?
7. 小文件导致任务运行缓慢,是在Spark读的环节还是哪个环节?
8. 用过二级分区吗?用Spark写Hive二级分区时有没有遇到过什么问题?
9. flink的滑动窗口,以滑动窗口为例子啊,就是每5分钟统计过去一小时的那个行为流水,100万一分钟的,然后你5分钟去输做这种滑动窗口所计算的时候,怎么去预估它可能会产生多大的输出,以及计算量。
10. flink 的就它发完了,它在重写的时候有个问题,我想问一下。它能基于checkpoint,我们可能说是checkpoint来重启嘛。那我数据从kafka里面消费的时候,我们可以某个精确到某一秒的时间点,能回溯对应的数据吗?
11. 那有没有哪里有性能问题?换一种更好的方式写的话,你会怎么写?
12. 如何优化你写的这两个sql
13. 这两段sql在spark里面是如何运行的
全部评论
蹲蹲后续
点赞 回复 分享
发布于 04-14 21:53 安徽
佬sql题出了什么呀
点赞 回复 分享
发布于 03-30 19:31 广东
哪个事业群呀
点赞 回复 分享
发布于 03-27 16:46 广东
没有写算法吗佬
点赞 回复 分享
发布于 03-27 12:21 美国

相关推荐

03-30 20:12
已编辑
东南大学 C++
1.你做一下自我介绍。2.你的规划是什么?3.你说的是长期规划,那技术方向上有什么倾向?4.你有考研的计划吗?5.你是打算本科毕业直接工作吗?6.你们现在保研结果出来了吗?7.你现在有没有其他实习 offer?8.字节那边的实习没有继续做了吗?9.你现在不能再回原来的组实习了吗?10.如果原来实习的组给你 offer,你会去吗?11.你做的 C++ 客户端是 PC 端的吗?12.你们做的是一个 C++ SDK,对接 iOS、安卓和鸿蒙,是吗?题目一 / C++ 并发相关15.这段代码有什么问题?16.为什么这里会出现多线程问题?17.除了加锁,还有什么解决方法?18.你先解释一下 static 作用在变量上、作用在函数上有什么区别。19.如果这个函数是类里的普通成员函数,里面定义了一个 static 变量,再对它做 push_back,会有什么问题?20.为什么这个 static 变量不会每次调用都重新初始化?21.如果你用锁来解决,这个锁应该声明在哪里?22.如果这个类实例化出两个对象 A 和 B,它们都会调这个函数,那是不是也会操作同一个数组?23.那这里是不是应该用静态锁,或者类似的全局共享锁?24.除了用锁之外,还有没有别的解决办法?25.你提到原子变量,那你怎么理解原子变量?26.如果代码可以随便改,为什么不能把 static 去掉?27.把 static 去掉以后,能不能解决并发问题?28.如果把 static 去掉,会引入什么额外问题?C++ / 容器 / 数据结构29.你简历里提到用了 concurrent hashmap,可以介绍一下吗?30.哈希表的实现原理你知道吗?31.哈希表是有序的还是无序的?32.如果要把它做成“按插入顺序有序”,你会怎么做?33.标准库里的 std::map 底层实现原理你了解吗?实习项目追问34.你介绍一下你说的这个三档 TTL 和分层缓存框架。35.这个 key 是怎么设计的?36.value 里存的是什么?37.这个缓存是怎么更新的?怎么触发更新?38.这样的话使用方如果拿到的是过期值,是不是要多等一次回源时间?39.你们的缓存命中率大概是多少?40.你拿到这个 key 之后,怎么知道去访问哪一档缓存?41.这个分档是动态判断的,还是你们手动维护配置文件?题目二 / 设计与代码实现操作系统52.你对虚拟内存有什么了解?53.虚拟内存是怎么实现的?54.系统怎么找到被换到磁盘上的那块数据?55.这个地址映射是怎么设计的?56.这个映射关系的数据结构叫什么名字?SQL 优化 / 实习项目57.你之前做过 SQL 优化,是吧?58.解释一下什么是 SQL 签名化。59.这个服务是在后端部署的服务查数据库,还是端上的 SDK 查本地数据库?60.你查端上的数据库时,每次都要建立连接吗?61.你说多个 SQL 合并之后,只查最小时间戳,是什么意思?62.你们做这个优化的前提,是多个请求同时发过来,对吧?63.你们会去缓存这些请求吗?64.这个缓存多久?题目一二详见图片,正常面试一直在追问,然后不给反馈,全程冷脸。当然也认识到很多知识盲区了。很多不重要的问题删了,大多数是问实习。
点赞 评论 收藏
分享
评论
1
11
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务