什么是水平分表 水平分表就是指以行为单位对数据进行拆分，将数据分别存储在多个相同表结构的表中。 一般是在数据量较大的情况使用，可以减轻数据库压力，提高效率。 水平分表的路由策略 范围分表 从字面的意思看很好理解，就是划定一个范围，比如第 0-1000 条数据放表一，1001-2000条放表二，以此类推；或者按照时间范围进行分表。  这样分表的好处是，扩容比较方便，一旦数据达到阈值需要进行扩容，只需要再加个表，往后的数据直接放新表。 但是缺点也比较明显，容易造成倾斜，存在读写偏移的情况，造成单表压力过大。 比如交易流水，每次发生交易都会往新表写，在查询习惯上，用户查最新的交易会比较多。 中间表映...

安全性是大数据一个很重要的特性，如果一个简单安装上线的大数据集群，没有配置安全认证，会有一定的隐患。未经过身份验证的用户可以任意查看、修改、删除大数据的数据。为了提高大数据集群的安全性，在企业中一般会配置 Kerberos 认证。Kerberos 是一种网络认证协议，它使用加密来提供高度安全的认证机制。Kerberos 的认证过程① 客户端通过命令 kinit USERNAME，将信息发送给 AS(Authentication Service)；② AS 检查用户是否在 AD(Account Database) 中，若有，KDC 将生成一个 KEY，用于客户端与 Ticket Granting...

HDFS 高可用机制了解 HDFS 的朋友一定知道，在非高可用模式下的 HDFS 集群是一个主从架构，一般由一个 NameNode 和若干个 DataNode 组成。对于这种情况，NameNode 是存在单点故障的风险的，即使单节点 NameNode 可以减少数据一致性带来的烦恼，可一旦 NameNode 挂掉了，整个集群就直接瘫了。为了避免这种情况，在生产中需要配置 HDFS 高可用模式，对 NameNode 配置主备节点。我们将主节点称为 Active NameNode，备用节点称为 Standby NameNode.ZKFC主备节点的切换，一般需要依赖于 zookeeper，而对 Nam...

拉链表是数据仓库中一种重要的模型，相信很多数据工作者都接触过，面试也是经常考察的点。但是很多人第一次接触“拉链表”这个词，难免会产生疑惑：拉链表是什么？什么是拉链表按照度娘的解释：“拉链表是一种针对数据仓库设计中表存储数据的方式而定义的数据模型，它有点类似于快照，用于维护历史状态及最新状态数据。”这么看还是有点难理解，既然如此，那我们先不管，先来看以下场景：假如有张表如表1-1所示，每天的数据量大概有50w表中有些字段会被 update，如表1-2，且每天更新的数据量很小，大约只有5k有些报表需要查看历史某个日期的数据存储空间有限，需要尽可能的节约存储空间问：你会怎么将其装入数仓中？表1-1：...

粉丝投稿，两年数据开发经验，面试博时基金的数据开发岗位。开局是亘古不变的自我介绍，和面试官寒暄几句就开始面试了。1、能简单介绍下你们的组织架构？2、你们数据相关的都有什么系统？3、你们团队有多少人？4、数仓的数据量多大？5、除了o层，数仓有多少任务？6、数仓的任务要跑多久？7、外部数据平台数据的流向？8、外部数据平台有哪些数据入到数仓？9、数据交换平台的应用场景？10、你们大数据平台几个节点？11、计算框架用哪个？12、Spark调优会吗？13、Spark参数调优？14、SQL优化会吗？怎么优化的？15、你们数仓怎么分层的？16、都有什么主题域？17、你希望自己往哪个方向发展？18、有没有想过...

前言： “用 SQL 查询每个用户最大连续登录日期？” 这道题是数据开发面试经常问到的题目，因为其比较考验候选人的 SQL 能力，今天就来简单讲讲其思路。  样例数据如下 login_log：    user_id login_time     1 2022-11-28   1 2022-12-01   1 2022-12-02   1 2022-12-03   2 2022-12-01   2 2022-12-04    (1) 先开窗，排个序 不了解或不熟悉窗口函数的同学可以点击阅读：通俗易懂：窗口函数 | 全是案例 select user_id, login_time, row_numb...

hive的架构hive外部表和内部表的区别内部表的数据由hive管理，且存储在hive.metastore.warehouse.dir配置下的路径中；外部表的数据由HDFS存储，路径可以自己指定； 删除表时，内部表会把元数据及真实数据删除；外部表不删除真实数据。你用过hive哪些窗口函数可参考：面试官：你用过哪些窗口函数一般用什么文件格式可参考：面试官：“你们实际生产中hive用什么文件格式和压缩方式”Hive中order by，sort by，distribute by和cluster by的区别1、order by：对数据进行全局排序，只有一个reduce工作 2、sort by：在数据进...

hive 存储格式有很多，但常用的一般是 TextFile、ORC、Parquet 格式，在我们单位最多的也是这三种。hive 默认的文件存储格式是 TextFile。除 TextFile 外的其他格式的表不能直接从本地文件导入数据，要先导入到 TextFile 格式的表中，再从表中用 insert 导入到其他格式的表中。一、TextFileTextFile 是行式存储。建表时无需指定，一般默认这种格式，以这种格式存储的文件，可以直接在 HDFS 上 cat 查看数据。可以用任意分隔符对列分割，建表时需要指定分隔符。不会对文件进行压缩，因此直接fetch数据的时候会比较快，因为不需要解压缩；但...

最近看到校招行情有点差，对于一些有就业意识的牛油来说，即便再差也还是能较早地知道行情；对于一些周边环境没那么好地牛油而言，可能缺乏就业意识。 回想起自己当初，就业意识也是很缺乏，甚至一度以为实习是大四做的事，找工作是临近毕业时的事。如果有人早点告诉我让我早点准备，或者早点知道牛客这个平台，或许会好一点吧。 为了使后面的同学少走一些弯道，因此给大家科普一些招聘的东西，希望能有所帮助。 01、日常实习 VS 暑期实习 可能有人会以为实习是大四干的事，但其实实习是越早越好的，如果实习经历丰富，对于后面的校招帮助是很大的。 实习又分为暑期实习和日常实习，他们又不太一样。  02、校招&社招 校...

作为一名20年毕业的打工人，到现在工作差不多快接近两年半了，以前都没有做过总结，这次就给以往的工作经历做次总结吧。 既然是总结打工生涯先从实习开始说起吧 实习 实习是在一家小国企工作，当初我应聘的岗位是数据挖掘，入职后领导让我跟着做数仓，后面就入了数仓的坑了，这也为我后面在现单位的工作岗位埋下伏笔。 这段经历其实比较短，因为是实习，干的活也比较简单，在公司里面看看书，看看文档，真正干的活，主要就是根据设计好的数据映射，用kettle做一下etl操作。当然，也参与了一些数据调研、模型设计，虽然涉及得比较浅，不过也学到不少东西。 在实习期间，让我了解了数据仓库相关的概念，同时也了解了一些相关的工作...

HDFS全称Hadoop Distributed File System，看名字就知道是Hadoop生态的一个组件，它是一个分布式文件系统。它的出现解决了独立机器存储大数据集的压力，它将数据集进行切分，存储在若干台计算机上。 HDFS 的特点与应用场景  适合存储大文件  HDFS 支持 GB 级别甚至 TB 级别的文件，它会把大文件切分成若干个块存储在不同的节点上，在进行大文件读写时采用并行的方式提高数据的吞吐量。  容错性高  HDFS有多副本机制，它会自动保存副本到不同的节点。即使有一台节点宕机了也不会丢失数据。  适用于流式的数据访问  HDFS 适用于批量数据的处理，不适合交互式处理...

在现公司干得有点憋屈，想跑路了，得先找一下感觉，看差点啥，再补补，明年拿了年终就可以跑了。   一上来，不多说，自我介绍。      然后介绍项目，介绍完开始抠细节：   1、团队多少人？数据量多少？   2、业务调研怎么做的？   3、如何确定主题域的？   4、怎么分层的？   5、为什么这么分层？   6、各个表抽取策略是怎样的？如何确定增量抽还是全量抽？   7、数据质量怎么保证的？   8、数据开发规范是怎么样的？   9、任务是怎么调度的？   10、怎么监控调度的？   11、任务优先级怎么排的？       接着再问了点技术问题：   1、遇到过数据倾斜吗？怎么解决的？   2...

一、概述   KNN（K-最近邻）算法是相对比较简单的机器学习算法之一，它主要用于对事物进行分类。用比较官方的话来说就是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。为了更好地理解，通过一个简单的例子说明。   我们有一组自拟的关于电影中镜头的数据：     那么问题来了，如果有一部电影 X，它的打戏为 3，吻戏为 2。那么这部电影应该属于哪一类？   我们把所有数据通过图表显示出来（圆点代表的是自拟的数据，也称训练集；三角形代表的是 X 电影的数据，称为测试数据）：     计算测试数据到训练数据...

最近收到很多周边，全都是参加活动后，平时摸鱼或者下班后写点东西获得的，以后还要分享故事和经验，希望大家多多交流