实习：多给我点工作，从中学到东西！正式：谁给我活干，我和谁不共戴天！实习：领导，学校有点事，请一下假。正式：哦哟，肚子痛，请假吧。年假舍不得，病假还得扣工资，算了算了，忍一下。实习：工资不是我考虑的，有工作就行。正式：就这点钱还想叫我干活？不干！加钱！实习：哎，这个不会，问下大佬。正式：哎，这个不会，先放着吧。

之前更完了《Kafka从入门到放弃》系列文章，本人决定开新坑——hive从入门到放弃，今天先认识一下hive。 hive介绍 hive是一个开源的用于大数据分析和统计的数据库工具，它的存储基于HDFS，计算基于MapReduce或Spark，可以将结构化数据映射成表，并提供类SQL查询功能。 特点  提供类SQL查询，容易上手，开发方便 封装了很多方法，尽量避免了开发MapReduce程序，减少成本 支持自定义函数，可以根据需求实现函数 适用于处理大规模数据，小数据的处理没有优势 执行延迟较高，适合用于数据分析，不适合对时效性要求较高的场景  hive的架构   MetaStore：元数据，数...

大部份人都会遇到这种情况，如果是校招生，可能因为没有工作经验，对实际工作有一个想象，特别是技术相关的，面试问的问题都差不多，等到入职后会发现实际工作不一样。比如数据开发，面试问的都是大数据组件，实际工作大部份都是写sql。所以，如果入职了，摆正自己的心态，先做着看看，然后看看其他同学或同事的工作，对比一下。如果觉得大家都差不多，而且自己也能接受，那就做着。如果没入职，建议面试的时候就了解清楚，查网上的信息，问面试官。

知道了也没得办法，努力提高自己就是了，只要领导没有刁难你，说明还是没放在心上；如果还给你安排同等难度工作，说明还是看好你的；如果直接不给你活干或者边缘化你，那就要做好润的准备了。如果还没被发现，建议干完活后再去汇报。

最好在群聊的时候把双方领导拉上，如果没有，那就要有文档记录；如果是提需求的，让他把需求写好，没需求文档不做。

前几天 Oracle 数据库空间告警了，嗯，是时候清除数据了。 于是我分析了一波，决定删除某张大表的历史数据，保留近几个月的数据。 然后我发起了流程，因为比较急，所以我匆匆在测试环境写下如下代码： alter table xxx_table_name drop partition xxxx_partition_name;因为测试环境分区数量比较少，而且数据比较少，直接执行后没什么问题。于是到了晚上，我在生产环境执行这段代码。不出意料，果然成功了。但过了一会，告警显示索引失效。 我一拍脑门，心中骂了自己一句，XX，忘记重建索引了！ 于是我马上执行如下代码： alter index xxxx_pa...

Kafka从入门到放弃（三）—— 细说消费者 之前介绍了Kafka以及生产者，包括它的一些特性和参数，这回写一下消费者。 之前没看得可以点击链接阅读： Kafka从入门到放弃（一）—— 初识Kafka Kafka 从入门到放弃（二）—— 生产者 消费者与消费者组 在Kafka中消费者是消费消息的对象。假设目前有一个消费者正在消费消息，但生产数据的速度突然上升，这时候消费者会有点力不从心，跟不上消息生产的速度，这时候咋办呢？ 我们对消费者进行横向扩展，加几个消费者，达到负载均衡的作用。但是要做点限制吧，不然几个消费者消费同一个分区的消息，不仅没办法提高消费能力，还会造成重复消费。因此让他们分别消...

上一篇对Kafka做了简单介绍（还没看的朋友可以点击链接），消息中间件必须与生产者和消费者一起存在才有意义，不然就只是一台机器，所以这次先来聊聊Kafka的生产者。 在开始之前，先了解一下消息在Kafka中是如何存储的，如下图所示，一般我们称那些数字为offset（偏移量）一般来说，消息在持久化后应该是有序的，这里的有序是针对分区的，而不是针对 Topic 的。 而且，生产者写入消息时，是往 Leader 写入，Follower 从 Leader 进行复制。  别看生产者只是发消息，调用 API 也是几行代码，但它的学问多着呢。为更好地理解后面的内容，请带着以下问题阅读：  生产者发送消息前会...

消息中间件的使用已经越来越广泛，基本上具有一定规模的系统都会用到它，在大数据领域也是个必需品，但为什么使用它呢？一个技术的广泛使用必然有它的道理。 背景与问题 以前一些传统的系统，基本上都是“用户——系统——数据库”一条线，拿下单做例子，用户下单，系统接受并处理请求，把数据存到数据库。 这样的好处就是简单，但随着需求越来越多，用户量越来越大，系统需要承载的压力就越大；如果需要扩展系统，修改代码，牵一发动全身，麻烦滴很。 消息队列可以解决这些问题，它是一个存放消息的队列，生产者往队列推数，消费者从队列取数。 优点 解耦 一个系统一般都有很多个模块，但业务发展起来，系统的体量就跟着变大，就需要多做...

HDFS全称Hadoop Distributed File System，看名字就知道是Hadoop生态的一个组件，它是一个分布式文件系统。它的出现解决了独立机器存储大数据集的压力，它将数据集进行切分，存储在若干台计算机上。 HDFS 的特点与应用场景 适合存储大文件 HDFS 支持 GB 级别甚至 TB 级别的文件，它会把大文件切分成若干个块存储在不同的节点上，在进行大文件读写时采用并行的方式提高数据的吞吐量。 容错性高 HDFS有多副本机制，它会自动保存副本到不同的节点。即使有一台节点宕机了也不会丢失数据。 适用于流式的数据访问 HDFS 适用于批量数据的处理，不适合交互式处理。它设计的目...

一、简介   Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。之所以说它是国人之光，是因为它是首个由国人主导的Apache顶级开源项目，能在亚秒内查询巨大的表。    二、基本概念   先了解一下几个概念，如下有一张表      ID   客户号   交易日期   交易类型   金额     1   001   20201230   工资代发   1000000     2   002   20210101   转账   6666...

    很多程序员都学过MySQL，而且也会写SQL语句。但仅仅会写还远远不够，在面试中以及在工作中，还必须要会事务和并发。   一、事务   事务是满足 ACID 特性的操作，可以通过 Commit 提交事务，也可以使用 Rollback 进行回滚。     A（Atomicity）原子性：事务被视为不可分割的小单元，事务的所有操作要么全部提交成功，要么全部失败回滚。     C（Consistency）一致性：数据库在事务执行前后都保持一致性状态。在一致性状态下，所有事务对一个数据的读取结果都是相同的。     I（Isolation）隔离性：事务之间的操作是相互隔离的。     D（Du...

前言 一般开发中，都会把图片上传到一个目录，然后将目录和文件名拼接存储在数据库中，但是，这种方法如果没弄好的话可能有一定的缺陷。 若项目搬迁，即时这台服务器本身还在用，存放在服务器的跟项目相关的图片也要跟着搬迁，同时还要修改代码，会造成较多麻烦。如果搭建一个专门存放图片的服务器，而且通过ftp传输，那么你的代码就不用改了。 关于Docker和Nginx的介绍和优点在这里就不展开了，网上博客和教程也有很多。 环境搭建 环境搭建有些模块可能不够详细，如果想知道更多的话可以查看其他资料，这里只是简单操作。 1、安装Docker  yum install docker  2、拉取Nginx镜像  do...