数据开发

自我介绍 项目介绍Spark：Stage如何切分？原因？倾斜原因？如何解决？介绍一下概率算法（HLL、CMS）Flink vs Spark 容错机制、故障恢复机制 异同？Flink 窗口处理迟到机制？除了Watermark呢？Exactly-onceRay了解吗？算法：三个数组各取一个数得到 a, b, c问：min(|a - b| + |b - c| + |a - c|) length < 1e6问有排序后 ON 做法吗？

想问下双非本26届，干数据开发的，一共拿了两个offer，其中拒了一个，还一个是给到7k×14，base在福州，想问下这个薪资可以去吗

一面： 自我介绍拷打实习询问慢sql怎么解决DQC怎么保证手撕golang 写mapreduce流程二面：自我介绍拷打实习二面很简单 基本上没有八股 问一下实习经历三面：自我介绍拷打实习linuex命令docker命令shell脚本编写

【职位名称】 大数据开发实习生（数据仓库方向）——27届校招实习【工作地点】 北京【职位描述】参与商业化业务的 离线数据仓库建设 ，处理 PB 级超大规模用户行为数据（千亿级日增量），覆盖数据从产生到可视化的全生命周期服务；负责数据仓库模型设计、ETL 开发及指标看板建设，优化数据流、调度系统及查询引擎，降低数据使用门槛，保障系统稳定高效运行；参与数据治理工作，提升数据质量与易用性，支撑业务分析需求，推动数据价值落地；与分析师、研发及产品团队紧密协作，总结数据研究方法论，助力业务场景的深度应用。【职位要求】基础要求 ：2027届毕业，本科及以上学历在读，计算机、数学、信息工程等相关专业优先；211 以上院校背景优先；技术能力 ：熟悉数据仓库实施方法论及体系架构，掌握 SQL 语言；至少熟练 Java、Python、Scala 等编程语言中的一种；了解 Hive、Spark、clickhouse等分布式计算工具，有大数据开发或数仓实习经验者优先；软技能 ：思路清晰，数据分析能力强，能独立分析并推动解决问题；沟通积极主动，具备良好的数理逻辑与业务好奇心；实习要求 ：每周可实习 3 天及以上，连续实习 3 个月及以上（长期实习优先）有兴趣的话私聊我发简历--简历直达hr，大量实习hc，可转正，转正比例高

一面 经典的自我介绍我看你实习经历挺多的，你挑一个项目讲讲看吧？我希望听到的是背景，目的以及你做了什么balabala嗯嗯，这么看我了解你的业务背景了，那你觉得你项目的目的是什么呢？我：balabala，为了看a，b，这几个指标拆解之后是看这些内容，但是主要是为了什么呢？是不是为了提升用户的体验（面试官真的一步步引导）再说说你做了哪些表吧，涉及到哪些层？有哪些比较重要的指标。balabala所以你怎么理解这些内容之间的关系呢？你觉得为什么要存在ads这一层？不能直接从dws取数据吗？看你有说到这个cdm覆盖率跟ods穿透率，这两个指标是什么意思？那你讲讲你认为各层的作用？什么情况下中间层是可以不要的？有做过数据治理的内容吗？都写过什么DQC？UDF写过吗？举个例子sql写的怎么样？开窗熟悉吗？举几个例子反问：问了下负责的业务，有哪些数据二面经典自我介绍 被打断我比较关心你在饿了么的实习，你讲下这个吧我balabala讲了下我负责的业务系统，然后接触了哪两块的数据所以可以理解的是，你在这三个环节里，负责第一个跟第三个是吗？那你讲讲第一个都有些什么内容好的，我了解了，感觉第三个环节更为复杂，你聊聊这个？balabala所以你一共是建了三张表是吧？那这些涉及到哪些层呢？你们的需求都是直接来自产运团队吗？项目看中些什么呢？工作会考虑北方吗？有做过数据治理的内容吗？你怎么保证时效性跟准确性这些的？手撕：连续一小时在线男用户人数，急了没撕出来。想到最后准备写60个lag()，面试官就让我写成在线人数就好。你有了解hive跟spark吗？一个sql任务会有多少次shuffle？我：取决于map跟reduce的数量？有做过数据倾斜的处理吗？打散大键大小表这种呢？mapjoin广播小表小文件呢？我：预聚合。追问除了预聚合呢？我：不太记得。面试官：可以调整块大小，我：哦block，对不起有点忘了。反问三面经典自我介绍看你不是大数据这个方向的，怎么想了做这个？balabala挑一个你实习期间比较难的问题讲讲吧？你是怎么思考的？怎么沉淀的？怎么学习新东西的？大部分都是些场景题和一些发散的问题，没有专业知识的拷打。反问：没什么问题，一面二面都问过了。--------timeline---------------------9.23 5点10开始一面 38分钟左右结束了，10分钟约了二面9.23 6点30开始二面 7点10的样子结束的，就问了20分钟吧9.24下午约三面9.25晚7点三面 6点58开始的，面了45分钟9.29检查官网 三面已挂

4.10一面1h自我介绍项目深挖数据倾斜有哪些？怎么解决数仓各分层作用，结合项目来谈mapreduce的shuffle过程项目中小文件问题为什么出现？如何解决项目中指标怎么计算，怎么清洗，过滤算法+sql------------4.15二面1h20min项目深挖数据质量监控（例如如何快速找出“坏数据”）数仓分层作用原子指标、衍生指标区别数据域怎么划分如何构建事实表spark依赖以及血缘广播join以及原理为什么brodcast join 速度快flink的checkpoint机制，举例子小文件问题，数据倾斜sql：直播间不同时段同时在线人数的值算法：求1-n的平方中不重复数位的数字个数-------------4.21 三面 40min项目深挖datax部署flinkcdc拉取mysql中binlog还是表数据粒度数据域和主体域的划分，用项目举例拉链表事实表分类？各个作用讲讲指标计算的整体过程（怎么取数、怎么计算）sql+算法---------------4.23HR面 15min聊了聊待遇、未来打算、自己的优缺点以及为什么会选择字节当晚oc---------------4.27 offer

笔试记错时间只做了一个小时，a了一道，这也能进面秋招第一面能拿下吗记录下时间7.24约面7.28一面实习+八股+场景题+sql+算法感觉面的还行，问了一共三面，包括hr面，许愿二面下午说一面过了，明天约二面——————————————————7.30号约了8.1的二面——————————————————8.1二面实习+项目 无八股，问职业规划，问课程，问对虾皮的看法感觉面的挺好，许愿hr面一个小时约hr面

目前感觉自己存在的问题有：1、项目经历不行，是尚硅谷上找的项目，而且数量较少2、校园经历不行，研究生阶段帮老师横向做多了反而没什么拿的出手的项目文章请问要怎么修改比较好？另外还有些涉及军工的敏感项目怎么表述会比较合适？后续如果想加成2页再补充什么比较好？还有就是博客写在哪个部分比较好？谢谢