美团校招一面数仓

作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。

5月还有HC!!!!java面经：顺丰一面：1. 自我介绍2. 线程池核心参数3. 任务队列大小如何设置4. 拒绝策略有哪些，可能会有什么问题5. 核心线程数如何设置6. 一个类如何保证线程安全7. CAS原理8. synchornized和reentrantlock区别9. wait、notify使用需要注意什么10. 什么是死锁，如何避免11. volatile的作用12. 数据库ACID13. 数据库隔离级别14. 分布式事务了解吗15. 场景题：生成订单和第三方支付16. 时长：30min顺丰集团2025届春招+26届实习内推！4月还有很多HC！【岗位】：开发、算法、商业数据分析、管培...

面试蚂蚁金服到了技术3面，但没有hr面了问题如下；1项目介绍一下2 干的数据开发技术组件和模型以及数据治理说一下3离线数仓怎么确保任务及时性，任务产生了dqc告警怎么解决4 干财务工作模型该怎么设计5数据治理该怎么治理，比如模型治理，运行效率，和任务合理性以及跨层很多问题6 实时任务一旦延迟该怎么快速解决延迟，如何确保数据不重复，不丢数据，如何知道延迟7flink任务优化可以从哪些方面入手，对于效率问题该怎么操作8kafka分区和写入该怎么设计，怎么能确保下游消费数据不延迟，不丢数据9 实时数仓如何做到指标实时，并且数据不会算错，10对于olap引擎知道哪一些，哪个更好，后续推荐用哪一款来批流一体

今天给大家分享的是一位粉丝的提问，普通二本大数据大二不考研想 java 就业，AI冲击下如何调整规划实习与就业？接下来把粉丝的具体提问和我的回复分享给大家，希望也能给一些类似情况的小伙伴一些启发和帮助。同学提问：老师好，我是普通二本大数据专业的大二下的学生。目前情况是各大语言的基础都学过，其中Java方向学了spring mybatis，像四大件之类都学了，也学了MySQL。考了个中级软件设计师，从家里老电脑的配件组了个小主机学了linux。我是不太想考研，想就业。原本是想主要走Java方向，然后也会学原本我这个专业大数据方向的，但是现在就业环境不好，加上AI影响。我现在很迷茫，不知道按照我这...