#虾皮提前批# 虾皮大数据开发一面8.8

我想问一下前辈们，你们在做大数据开发实习生的时候一般都是在做什么工作，只是单单写SQL语句吗，我好害怕怕犯小错误😭#

一面（8.27）实习内容 还在职吗 实习期间主要干什么 和你对接的同学有哪些 产运和算法同学怎么使用你产出的数据 数据集底层用什么技术栈 你写SQL任务的时候是怎么优化代码的，写代码的时候哪些地方需要注意 有自己搭建过看板吗 知道SLA基线吗，有主动了解过吗大数据技术问题 一个spark任务怎么优化 发现写好的spark任务运行的很慢要怎么办 数据倾斜怎么处理 如果任务在读文件的时候运行很慢怎么办 内存利用率过低怎么办 CPU利用率过低怎么办 你经常用的spark参数还有哪些SQL  table 有字段id user_id_list device_id_list app_id_list 写一段...

bg双9，一段美团日常一段数据库国企的向量索引研发（偏科研），方向是除了虾皮和teg是分布式存储之外都是后端开发，看看大火对哪个感兴趣，整理下面经腾讯，字节，京东，百度，快手，虾皮，滴滴

8.28更新，已挂😇😇😇算法方向自我介绍面试官：做过微调吗？讲一下SFT基本原理。我：做过简单的demo，然后稍微说了一下SFT，然后拿 LoRA 举了一下例子。面试官：SFT说完了，讲一下RL经典算法吧。唱了一下 PPO，DPO（DPO有点忘了讲得磕碜巴拉的）面试官：大模型幻觉怎么处理？我（忘了复习了）：答 prompt engineer，RAG，rethink，self-consistent。感觉他挺想问我 rethink 怎么优化的，我不知道，只能说多轮询问/换模型交叉验证。面试官：检索算法有哪些？应该是BM25+向量检索那一套的，我脑子抽了说 IVFFat 和 HNSW 。唱了一半面试官赶紧打断我，问我BM25怎么算的，公式说一下。我忘了，就说用词频和逆文档频率（还有个“字段长度归一化”想不起来了）（顺带说一句，问公式诗人？？？）。面试官：Transformer 结构讲一下。原始论文的架构唱了一会儿，他让我讲一下多头，又唱了一下多头。然后问我为什么 attention score 要除以根号d，我说稳定输出。他让我再从别的角度讲一下，一遍引导一边问我，说可以从分布角度讲。第一遍他说的是“温度”，我脑子蒙了，这怎么扯上温度了。唱了一会儿温度的作用。他赶紧打断我说分布，softmax，又引导了两句，我懵，还是不知道。他说：为了将方差恢复为1，或者说恢复原始方差。我（疯狂道歉+尬笑）面试官：大数据有了解过吗，spark，hadoop 这些。我（不是你真问啊）：不知道。面试官：sql了解过吗。我：上学的时候学过一点。问了我一个场景题，想考我 rank 的用法。我完全忘完，直接道歉三连。手撕1.两数之和。脑子抽了两次，一次是key写错了瞪眼5min。第二次是换测试用例忘了换target值，瞪眼2min。最后忙了快10min才写出来。2.很难描述，给定target序列，序列库。求最短的序列库想暴力贪心/回溯，不太行。面试官说换个思路，我说那就dp吧。他说那你dp吧，想了一下时间快到50min了，让我讲一下思路，纠结了一会儿一维还是二维（太紧张了说是，幻视编辑距离）。他反问用的到二维吗？我说一维dp就行，但还是得两层循环，稍微说了一下思路。反问业务都有哪些地方用到大模型，他稍微说了一下。他说你要是到二面了可以问一下二面的业务，他这边是做智能客服的？我内心：6。然后时间也到58min了，我说没问题了，结束。