数据开发工程师

了解 HDFS 吗，介绍下HDFSHSDF 是 Hadoop 生态的一个组件，它是一个分布式文件系统。它将数据进行切分，存储在若干台机器上。它的出现解决了独立机器存储大数据集的压力HDFS 的特点及应用场景适合存储大文件HDFS支持 GB 级别甚至 TB 级别的文件，它会把大文件切分成若干个块存储在不同的节点上，在进行大文件读写时采用并行的方式提高数据的吞吐量。容错性高HDFS有多副本机制，它会自动保存副本到不同的节点。即使有一台节点宕机了也不会丢失数据。适用于读多写少场景HDFS中的文件支持一次写入、多次读取，写入操作是以追加的方式（append）添加在文件末尾，不支持对文件的任意位置进行修...

滴滴国际化数据开发急招实习生，要求26届，5月底到岗日常实习，非秋储，门槛比秋储低，有转正hc可直接私引流

🕒 岗位/面试时间大数据研发实习生👥 面试题目一面（35min）3.11：数开实习深挖巨基础八股 shuffle过程 SQL语言执行顺序等等做题 自己共享屏幕写（5min）：一道算法一道SQL反问（5min）：老哥贼热情给我介绍部门以及转正情况啥的还给我画饼😇哈哈哈哈哈二面（35min）3.12：数开实习深挖巨基础八股 hdfs读写流程 数仓分层等等做题 自己共享屏幕写（5min）：一道算法 合并有序数组一道SQL反问（2min）三面（15min）3.13：除了数开实习的其他实习深挖问问深度学习机器学习方面的基础知识反问（2min）1h后oc🤔 面试感受哥哥姐姐都可温柔，生怕问到我不会的那种感觉，流程推进也贼快😋💰 薪资待遇廉价劳动力😭        已入职，感觉组里面氛围蛮不错的

初试：1.数据库索引相关2.数据库事务3.锁，死锁4.hadoop，join的mr过程5.数据倾斜及解决方案，如何采样大key不人工分拆6.clickhouse，了解哪些其他olap数据库7.数仓建模，事实表，维度表8.一个新业务如何从0构建数仓9.实习中遇到的问题，怎么解决的10.sql 总体难度不大，但是我老是细节有问题二面：1.sql查询clickhouse过程，clickhouse相关，其他olap了解多少2.设计数仓表3.实习经历相关，了解哪些大数据前沿方向三面：场景题，结合实习工作内容好的数仓是怎样的数据质量，及时性如何保证了解哪些大数据前沿方向职业规划为什么不读研个人评价编程掌握化身鹅黑了

顺带分享面经9.05到家一面：自我介绍实习相关画像表和指标维度表的区别标签体系数据结构基础。dag如何排序算法，删除链表重复元素9.18美团平台一面：数仓分层spark任务提交数据倾斜，如何处理数仓好坏开发完成之后如何做数据验证，如何确保是对的反转链表9.20二面：学校实习在实际工作中对数仓理论的认识如何对订单数据建模，考虑哪些维度任务跑得慢怎么分析如何估计食堂的人数，漏斗/采样9.26 oc 正玩黑神话呢，突然手机响了

🏢公司名称：京东零售💻招聘岗位：java开发工程师、数据开发工程师🌟内推码：校招内推码：C3Q1M，社招内推码：75SQ7💰福利待遇：班车、饭补、健身、员工保险等🤔工作体验：成长快、薪酬福利优厚加入京东，更快到达你想要的未来~校招链接：https://campus.jd.com/插播，本部门还有社招名额，部门为京东零售数据中台，北京、上海都有职位，java开发工程师、数据开发工程师都有，加 ************直接内推，另外部门还有部分25年校招补录的名额，需要的也可以加我

🏢公司名称：SparkXGlobal 邑炎科技💻招聘岗位：数据开发工程师+广告算法工程师+运营/市场等岗位 投递入口：https://app.mokahr.com/su/audvam或者扫描文内二维码直接提交简历，关于岗位问题可以留言。数据/算法 也可私信发送简历 直达部门 leader🌟内推码：NTA6JPz💰福利待遇：   考核晋升 | 完善的晋升机制 | 晋级涨薪 | 项目奖金 | 团队奖金 | 个人奖金 | 绩效提成                         老员工带新 | 导师一对一 | 内部定期培训 | 专业技能培训 | 大牛带队🤔工作体验：    - 邑炎公司实行扁平化组织管理，强调以工作为中心，达到简单高效的信息交流。营造轻松平等的工作环境，提供简单纯粹、自由无拘束的办公氛围。    - 供应茶点、零食、饮料，还有咖啡吧，为你加“油”    - 没有领导讲话，没有总结汇报，只需要享受当下    - 我们拥有完善的团建制度，你可以选择与亲近的同事来一场私密的出游，也可以参与组织整个大家庭的团建活动。【数据开发工程师】JD：●职位职责：1. 负责离线和实时数据处理，包括开发、维护和优化。2. 参与建设企业级大数据平台，包括数据架构、数据治理和数据应用的开发，以提升公司业务和技术部门的数据使用效率。3. 探索和分析新技术趋势，以解决现有问题和提升系统性能。●必备技能：1. 熟练掌握Java、Scala、Python等至少一种编程语言，并有良好的Shell脚本编写能力和Linux环境下的开发经验。2. 对Spark、Hadoop、Hive、Flink等大数据处理工具有深入理解，以及至少一种工具的实际使用经验。3. 对OLAP数据库如Clickhouse、StarRocks有深入理解，熟练使用MySQL，并对SQL优化有丰富经验。4. 至少2年的数据开发和设计经验，熟悉ETL设计和开发，对数据仓库分层模型、数据治理和数据平台有深入理解。●求职者特质：1. 对新技术和新事物充满好奇心，具备独立解决和分析问题的能力。2. 工作态度认真负责，执行力强，能有效地在团队内部和跨团队沟通。●加分项：1. 具备AWS、阿里云、腾讯云等至少一种云服务的使用经验。【广告算法工程师】JD：工作职责：- 基于在线广告的投放表现和用户行为数据，以提高客户的变现效果和体验为目标，建立并优化广告投放系统的基础算法和策略- 应用机器学习等技术，针对大规模信息建模，挖掘潜在商业价值，负责在线广告投放系统的核心技术创新与优化职责要求：- 计算机或相关专业本科及以上学历- 良好的逻辑思维能力和数据敏感度，能够从海量数据中发现有价值的规律- 熟悉 Python 语言编程- 熟悉数据挖掘、机器学习、自然语言处理等相关技术，并具备1年及以上实际工作经验- 优秀的分析和解决问题的能力，对挑战性问题充满激情- 具备良好的团队合作精神，较强的沟通能力- 具备广告投放相关技术的经验者优先- 有大语言模型相关技术的经验者优先欢迎优秀的应届生投递！更多岗位：https://app.mokahr.com/su/audvam

求助各位，鼠鼠是学后端的，目前对数据开发不太了解。大厂数开的发展前景怎么样？和中厂后端对比如何抉择？团子部门是金服，帆软是fine+产品线      

更新：10.12 OC，东哥很给力，hc是真的*****************************************************************# 一面 9.18自我介绍实习工作用的什么计算架构、开发节点怎么调度的、数据量多大、每天跑多久介绍spark shuffle阿里用的olap数据库是什么阿里的onedata建模规范了解clickhouse吗可以接受来实习吗你对自己的规划是什么（到这里只有十几分钟，问我有什么想问的）开始反问# 二面 9.19自我介绍介绍Hadoop介绍spark任务执行流程Spark几种join数据倾斜的处理方案flink窗口介绍用到过kafka吗kafka重复消费了该怎么去重（这里没答好，面试官说可以在输出数据的系统中设置主键唯一性，主要出现在回刷场景）了解clickhouse吗对比mysql、hive、clickhouseES了解吗反问环节：部门各种问题，团队构成、数据产品、问了很多，整个过程比较轻松，这里聊了十分钟# HR面 9.27自我介绍为什么去阿里实习做一个产品哪些方面需要考虑职业规划平时怎么学习的遇到的困难，怎么解决，你的心态优缺点团队合作的问题反问：国庆后出结果求求了，东子给个意向吧！