京东26秋招零售数仓一面

1.简单问问项目
2.Spark的执行流程
3.宽窄依赖
4.RDD和Dateframe
5.RDD:
是 Spark最基础的分布式数据集合抽象,本质是不可变的、分区的元元素集合(可以是任意类型的对象,如整数、字符串、自定义类等)。
它没有预设的Schema(数据结构)数据以"对象"形式存在,Spark对其内部数据类型无感知。
6.DataFrame:
是带有Schema的分布式数据集合,类似于关系型数据库中的表(有列名和列类型),但数据分布式存储在集群中。
它本质上是RDD的扩展,在RDD基础上增加了Schema元信息(扫描述列名、数据类型等)使Spark能理解数据的结构。7.排序窗口函数
8、python的特点
9.is和==的区别
判断值是否相等用(如比较数字、字符串、列表内容);判断是否为同一个对象用 is(最常见场景是判断xisNone,检查变量是否为None对象)。
sq1:跑得慢,哪里可能有问题-----识别倾斜,拆分处理
全部评论

相关推荐

项目拷打 1.请详细说明你当前所在公司日常进行数据统计时,主要采用哪些方式?这些方式分别适用于什么场景?例如针对实时数据统计、离线批量数据统计等不同需求,会选择不同的工具或方法吗?2.结合你参与过的具体项目,谈谈你是如何分析项目的业务数据结构的?请说明该数据结构包含哪些核心字段、表与表之间的关联关系,以及你是如何基于业务逻辑梳理清楚这些结构的?3.请问你有相关的数据处理或分析类实习经历吗?另外,你是否接触过非底层(如偏向业务应用层、基于现有平台进行数据处理而非搭建底层架构)的项目?如果有,请简要介绍项目背景和你的职责。4.Spark了解吗?5.从代码到输出结果,Spark引擎做了什么sql题目:表1:用户信息表(含id:用户唯一标识date:用户行为日期,is_new:是否为新用户标识,1表示新用户,0表示老用户)表2:红包领取记录表(含id:用户唯一标识,date:领取日期,time:领取时间,money:题目1:请编写SQL语句,计算"未领取红包的用户在未领取次日、未领取后7日的留存情况"(注:需先明确“未领取红包用户"的定义,即在指定时间范围内有行为记录(表1有数据)但表2无对应领取记录的用户,再计算该类用户在未领取红包日期的次日、第7日是否仍有行为记录(表1有数据)的留存率)。题目2:请编写SQL语句,完成以下两个指标的计算:(1)每日DAU(日活跃用户数):指每日有行为记录(表1中当日有数据)的独立用户数;(2)最近1个月内,3天连续登录的用户占比:即最近 30天内,至少有一次连续3天每日均有行为记录(表1中有对应日期数据)的用户数,占该月内总活跃用户数(表1中该月有至少一天数据的用户数)的比例。反问
点赞 评论 收藏
分享
评论
3
4
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务