hive

数据倾斜都有哪些原因?分别从spark、hive的角度分析。1、spark中的数据倾斜：包括spark streaming和sparkSQL。主要表现为：1）executor lost，OOM.shuffle 过程出错；2）Driver OOM；3）单个executor执行时间特别久，整个仍然任务卡在某个阶段不能结束；4）正常运行的任务突然失败。2、hive中常见的数据倾斜：1）key分布不均衡2）业务问题后者业务数据本身的问题，某些数据比较集中3）建表的时候考虑不周4）某些sql语句本身就有数据倾斜，例如：（1）大表join小表：其实小表的key集中，分发到某一个或者几个reduce上的数据远远高于平均值（2）大表join大表：空值或无意义值：如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。（3）group by： group by的时候维度过小，某值的数量过多，处理某值的reduce非常耗时间。（4）Count distinct：某特殊值过多，处理此特殊值的reduce耗时。3、解决思路：1）业务逻辑方面：从业务逻辑层面来优化数据倾斜（比如两个城市突然做推广活动，导致两个城市的数据猛烈增长100000%，其余的城市的数据量不变的情况下，然后对不同的城市做group的数据统计，这时久会产生数据倾斜。如果我们这时对两个城市单独做count，可能用到两次MR，第一次是打散计算，第二次则是聚合，完成之后再和其他城市做最后的整合）2）程序方面：可以先group by, 再在外面套一层count3）调参4）从业务和数据上解决数据倾斜

hive的架构hive外部表和内部表的区别内部表的数据由hive管理，且存储在hive.metastore.warehouse.dir配置下的路径中；外部表的数据由HDFS存储，路径可以自己指定； 删除表时，内部表会把元数据及真实数据删除；外部表不删除真实数据。你用过hive哪些窗口函数可参考：面试官：你用过哪些窗口函数一般用什么文件格式可参考：面试官：“你们实际生产中hive用什么文件格式和压缩方式”Hive中order by，sort by，distribute by和cluster by的区别1、order by：对数据进行全局排序，只有一个reduce工作 2、sort by：在数据进...

今天在群里面看到一道面试sql题目，感觉挺有意思的，就过来分享一下。   原题目是这样的。      就是给你一行日期，有个起始日期和结束日期，让你生成多行数据。      日期A和日期B一开始就有的，   那么面试题目就变成了，如何将1行数据变成了B-A+1行，且每行是递增的日期。   如何实现每行递增的日期呢，我们可以使用row_number排序，生成1-n排名，在date_add一下即可。      熟悉hive的第一反应肯定就是炸裂函数explode,或者自定义udtf。如果在面试的时候去手撕一个自定义udtf，那还是挺恐怖的。   这里面我参考了别人分享的攻略。https://blo...

hive 存储格式有很多，但常用的一般是 TextFile、ORC、Parquet 格式，在我们单位最多的也是这三种。hive 默认的文件存储格式是 TextFile。除 TextFile 外的其他格式的表不能直接从本地文件导入数据，要先导入到 TextFile 格式的表中，再从表中用 insert 导入到其他格式的表中。一、TextFileTextFile 是行式存储。建表时无需指定，一般默认这种格式，以这种格式存储的文件，可以直接在 HDFS 上 cat 查看数据。可以用任意分隔符对列分割，建表时需要指定分隔符。不会对文件进行压缩，因此直接fetch数据的时候会比较快，因为不需要解压缩；但...

持续更新  1.NVL函数 NVL(expr1, expr2)： 空值转换函数； 如果expr1为NULL，返回值为 expr2，否则返回expr1。 适用于数字型、字符型和日期型，但是 expr1和expr2的数据类型必须为同类型。  2.还有一个函数coalesce SELECT COALESCE(NULL, NULL, GETDATE()) coalesce(name,'unknown') as name 由于两个参数都为null，所以返回getdate（）函数的值，也就是当前时间。即返回第一个非空的值。由于这个函数是返回第一个非空的值，所以参数里面必须最少有一个非空的值，  3.行转列...

语法: pmod(int a, int b), 返回正的 a 除以 b 的余数   但是这个结果为何是3？？难道不是1吗？？   select pmod(-9,4) // 3       但是这个结果为何是-2？？难道不是2吗？？    select PMOD(6,-4); // -2

在 Hive SQL 中，Hive 支持多种数据类型。以下是 Hive 中常用的数据类型：基本数据类型：TINYINT：一个有符号8位整数。SMALLINT：一个有符号16位整数。INT：一个有符号32位整数。BIGINT：一个有符号64位整数。FLOAT：单精度浮点数。DOUBLE：双精度浮点数。BOOLEAN：布尔类型，可以为 true 或 false。STRING：字符串类型。复合数据类型：ARRAY：数组，可存储一组相同数据类型的值。MAP：映射/字典，可存储键值对。STRUCT：结构体，可定义复杂的数据结构。UNION：联合类型，可存储多种不同的数据类型。时间和日期数据类型：TIME...

把         转换成      把月份的值直接作为列名，谁会？   select                     date_format(order_day, 'MM') as month,                     sum(qty) as sum_qty                 from                     (                         select                             11 as order_id,                             '2022-01-02...

#优化Hive配置设置hive.merge.mapfiles和hive.merge.mapredfiles为true调整hive.merge.size.per.task和hive.merge.size.smallfiles.avgsize参数使用更大的hive thrift socket time out数据处理优化减少数据倾斜，避免全表扫描避免笛卡尔积产生，减少不必要的计算分区粒度设计更细，减少后续任务处理数据量JVM重用与优化开启JVM重用，特别是在处理小文件或Task数量多的情况下Job执行模式调整将Job交给Yarn执行，以提高效率SQL查询优化不要使用MapReduce进行查询避免在SQL字符串中配对操作使用Parquet或ORC格式存储数据，提高读写速度数据导入策略确保Hive采取读时模式(Schema On Read)，以提高导入速度解决特定问题对于map阶段缓慢，考虑开启map端聚合等优化措施解决任务执行进度卡在99%的问题，通过调整Counters平均值来优化

1 、 聚合类avg()、sum()、max()、min()2、  排名类row_number()按照值排序时产生一个自增编号，不会重复（如：1、2、3、4、5、6）rank() 按照值排序时产生一个自增编号，值相等时会重复，会产生空位（如：1、2、3、3、3、6）dense_rank() 按照值排序时产生一个自增编号，值相等时会重复，不会产生空位（如：1、2、3、3、3、4）3 、其他类lag(列名,往前的行数,[行数为null时的默认值，不指定为null])，可以计算用户上次购买时间，或者用户下次购买时间。或者上次登录时间和下次登录时间lead(列名,往后的行数,[行数为null时的默认值...

1 、 聚合类avg()、sum()、max()、min()2、  排名类row_number()按照值排序时产生一个自增编号，不会重复（如：1、2、3、4、5、6）rank() 按照值排序时产生一个自增编号，值相等时会重复，会产生空位（如：1、2、3、3、3、6）dense_rank() 按照值排序时产生一个自增编号，值相等时会重复，不会产生空位（如：1、2、3、3、3、4）3 、其他类lag(列名,往前的行数,[行数为null时的默认值，不指定为null])，可以计算用户上次购买时间，或者用户下次购买时间。或者上次登录时间和下次登录时间lead(列名,往后的行数,[行数为null时的默认值...