数开

末流985本，大三想投寒假实习，GPA40%，无实习经历，项目基本上是学校的课设想投数分或者数开简历有什么问题？如果寒假实习不行，希望大佬推荐学习路线~谢谢！

HR说实习一定要满6个月哦，有些公司一直强调6个月，中途跑路应该没事吧，虽然我知道没事，但总感觉有种很奇怪的感觉？问一下牛友，怎么说

数开面试题 使用的hive，tez计算引擎1.如何建模、以及数据开发过程中需要注意的问题（数据探查、数据开发、数据质量监测、数据核对）2.页面数据有问题、如何排查3.抽数、推数数据量异常如何自动停止任务（要有工作日、非工作日的判断，非工作日不生效，UDF函数）4.hive表生命周期管理失效，如何进行生命周期管理（设成自动任务的话可能会使用shell脚本）（3个月前每月保留第一天与最后一天的数据，注意是业务时间第一天与最后一天，非调度时间）5.数据量大的表推数慢影响页面展示怎么解决6.根据2个日期计算工作日天数7.去重方式（开窗函数如何控制窗口的大小）8.列转行（清洗、分隔符统一、注意有些业务数据（比如一条数据楼栋面积字段（可能是总面积）对应多个房屋或多个楼栋）、LATERAL VIEW explode）9.明细表数据量大，每月还要都保留一份，怎处理？怎么优化？达梦分区（范围分区、哈希分区、列表分区、组合（多级）分区、间隔分区（属于范围分区）INTERVAL <间隔表达式>）10.更新数据效率更高的方式update采用的类似nested loop的方式，对更新的每一行，都会对查询的表扫描一次；merge into这里选择的是hash join，则针对每张表都是做了一次 full table scan，对每张表都只是扫描一次。11、筛选的时候in（不适合B大）、exists不适合B大）、join的底层以及效率12.常用的分析函数13.连续3天及以上连续出现的次数（减序号）

面试时被问到一个问题是：1.用sql实现topn问题，那么如何用MR程序来实现同样的topn功能呢？还有一次被问到，两表join，如何用MR来实现它呢？给我搞的很迷茫，不知道该怎么回答。难道看到SQL就知道它的执行计划，然后就可以写出对应的MR程序了？有大佬知道这两个问题答案是什么？这样的问题该怎么准备呢？

双非二本大数据仔：数开 or 后端？别再让我纠结啦粉丝内容：双非二本大数据专业大三学生。我现在会 Hadoop、spark、hive、kafaka、flume 这些玩意儿呢，一直跟着 sgg 路线走。可我瞅着吧，感觉双非上岸数据开发那难度就像攀珠峰，太高啦！我就开始犹豫，是接着在这条路上死磕呢，还是转头去学后端？或者干脆贪心点，两个一起学？辉哥锐评：这网上信息看多了，那真是越看越迷糊，就跟进了迷宫似的，净让我焦虑。咱得整点实在的，多学点东西才是王道啊！多去跟大佬取取经，学学他们的经验。还有啊，得把简历好好优化优化，那可是咱的“敲门砖”呢！另外，数据仓库相关技术也得多搞搞，后面面试和工作都能用上

sorry标题了一下。不知道好在哪。二月份投简历到现在一场数开面试都🈚️，不知道是不是因为写性格测试和逻辑题（beisen那些）糊弄过去的，会因为这个直接刷掉简历吗佬们接面试接offer。

桔子，万分感谢，我冲到了滴滴厂了 数据开发岗位

数仓开发全攻略数仓内容内部面经面试指导投递渔术问题答疑全年提问SparkFlink数仓面试题数仓建模理论数仓建模实践数仓知识库数仓SQL题实战录DQCSLA

bg双非计算机研二，26届，目前有了半年中小厂数开实习，刚入职百度数开实习，准备明年3，4月找下一家实习，想问下各位佬是继续垂直找数开呢，还是尝试一下算法类的实习如果尝试算法，哪个方向比较好呢？LLM，搜推广，风控......？大家投票后可否在评论区留下理由呢，谢谢各位大佬

Doris设计分区与分桶的分享分区首先看下游使用者是否经常会查询增量时间字段 或者 是否表数据量巨大，以判断是否要做分区 Doris的分区可以是小时、按天、按星期、按月、按年进行分区经验：如果一天超过了30W数据行或者超过了日增300MB数据，建议做分区考虑 ， 再有一个情况是如果下游查询是可以带上一个业务增量时间的 那就可以用时间做分区分桶我自己的经验会按照2048MB=2GB （可以粗略以2048000=204w行计算，具体的有条件可以根据表详情存储去判断2GB=多少行） 给一个桶去分配，控制在128个桶内例子：比如我有一个表，每天10w数据 大概100MB 一年就是 36500MB=36GB 我们可以按照三年的数据量来预估 36*3=108GB ，按照之前的思路 2GB给一个桶，我们这里如果不做分区的情况下 可以给108/2=54个桶，也进一下整数可以给成60个桶

数仓是什么？？？数仓在企业是什么定位？？老油条带你再上一个理解层次！看图！！

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题

看了下牛客各位大佬们的数据开发简历，几乎每张都有一个《尚硅谷电商数仓与实时数仓》，我想问下你们在面试的时候，面试官没有怀疑这个项目的真实性嘛？特别是实时数仓，我真的被狠狠批了一顿。

咱们的内容大屏搭起来了 嘿嘿，便于分析咯  也便于后续同学精准学习

有uu面过这个岗位吗？能交流一下吗？