数仓暑假实习

作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。

1. 基本情况方向：数据工程，时间：40分钟结束、16:00开始，无手撕，多场景2. 自我介绍3. 一些能够回忆起来的（或许有不正确的地方）：（1）提问R：你这个项目是课程作业还是什么？R：那你说说Hive和ClickHouseR：你谈到了OLAP，那和OLTP有啥区别？R：没了？ClickHouse适合那种场景？R：可以用作实时数仓吗？R：课程中有数据库相关的吗？只有数据结构与算法？R：MySQL系统学习过吗？R：数据怎么导入到ClickHouse的？R：直接到ClickHouse？R：数仓分层？四层讲讲。R：那为什么要分层呢？DWS已经差不多了为什么还需要ADS呢？R：场景题：在你的表上新...

1 在介绍数仓模型时大概分下面介绍数仓分层有哪些层，每一层的作用和构建原理，有哪些数据域和主题，对于域和主题是怎么划分的，数仓命名规范怎么定的，ads层主要是怎么设计的，数据怎么对外运用，数仓不能跨层依赖，dwd必须要有ods的所有字段，不能聚合操作，dws一般都是轻度聚合，比如用户和订单的聚合，ads通常不能直接来源dwd，只能从dim和dws来，dim层快照和非快照的区分2 实时任务如何做到不延迟我认为该这样答，首先确保source端消费能及时消费，要评估一下数据的QPS，然后中间计算阶段并行度要够，在规定时间需要计算完成，最后sink阶段需要及时落表，还有就是任务失败要从checkpoint拉起任务，并且消费kafka的偏移量要从最新的地方拉起，防止重复消费导致延迟，

大家好，我是“蒋点数分”，多年以来一直从事数据分析工作。从今天开始，与大家持续分享关于数据分析的学习内容。本文是第 6 篇，也是【SQL 周周练】系列的第 5 篇。该系列是挑选或自创具有一些难度的 SQL 题目，一周至少更新一篇。后续创作的内容，初步规划的方向包括：后续内容规划1.利用 Streamlit 实现 Hive 元数据展示、SQL 编辑器、 结合Docker 沙箱实现数据分析 Agent2.时间序列异常识别、异动归因算法3.留存率拟合、预测、建模4.学习 AB 实验、复杂实验设计等5.自动化机器学习、自动化特征工程6.因果推断学习7. ……欢迎关注，一起学习。第 5 期题目题目来源：...