本文目录简介   介绍  计划器  Flink与Blink流批环境  表  支持连接资源  创建数据源表  创建数据结果表  创建数据维表  小案例  介绍 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 从...

  前言 Flink SQL的窗口操作在straming的实现上增添了不少东西。是用起来越来越方便。本篇主要内容：   Watermark  滚动窗口  滑动窗口  累积窗口函数  窗口分组聚合GROUPING SETS  Clue幂集函数  Over函数  Watermark 引入 由于实时计算的输入数据是持续不断的，因此我们需要一个有效的进度指标，来帮助我们确定关闭时间窗口的正确时间点，保证关闭窗口后不会再有数据进入该窗口，可以安全输出这个窗口的聚合结果。 而Watermark就是一种衡量Event Time进展的有效机制。随着时间的推移，最早流入实时计算的数据会被处理完成，之后流入的数据...

  ​怎么理解即席查询  即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。 即席查询与批处理后查询的区别 批处理后的查询 在数据仓库系统中，根据应用程序的需求，需要对源数据进行加工，这些加工过程往往是固定的处理原则，这种情况下，可以把数据的增删改查SQL语句写成一个批处理脚本，由调度程序定时执行。特点：由于批处理脚本中的SQL语句是固定的，所以可以提前完成SQL语句的调优工作，使得批处理脚本的运行效率达到最佳。 即席查询 通常的方式是，将...

前言    分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。  比如主从复制，主节点负责写，从节点负责读，提高读的性能。从节点定期通过心跳与主节点沟通，一旦主节点挂掉了，从节点马上接手主节点的任务。 但是主节点暂时失去响应，如瞬时负载过高，网络拥塞或者其他原因导致主节点暂时失去响应，超过响应超时时间，这个时候从节点启动，承担起leader的职责，但是原先的主节点又恢复了服务。这个时候，如果没有选举机制（不能仅仅自己宣告自己是leader，还要广而告之，让其他服务器或者客户端知道自己是leader），有可能会存在两个leader节点，导致集群发生混乱。...

  大数据常见术语一览  主要内容包含以下（收藏，转发给你身边的朋友）   雪花模型、星型模型和星座模型  事实表  维度表  上钻与下钻  维度退化  数据湖  UV与PV  画像  ETL  机器学习  大数据杀熟  SKU与SPU  即席查询  数据湖  数据中台  ODS，DWD，DWS，DWT与ADS  T0与T+1  用户画像 用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际用户的虚拟代表，用户画像所形成的用户角色...

 现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考）  1. HDFS读流程和写流程？  2. NameNode和Secondary NameNode工作机制？  3. HA NameNode如何工作？  4. DataNode工作机制？  5. DataNode数据损坏怎么办？  6. 压缩方式怎么选择？  7. MapReduce工作流程？  8. Yarn工作机制（作业提交全过程）是什么？  9. Yarn调度器了解多少？ 10. HDFS小文件怎么处理？ 11. Shuffle及优化？ 12. Hadoop解决数据倾斜方法？ 13. Hadoop的参数优化？ 14. 异构存储（...

微信公众号：大数据左右手 专注于大数据技术，人工智能和编程语言  个人既可码代码也可以码文字。欢迎转发与关注  otter官网介绍项目背景 otter文档地址 https://github.com/alibaba/otter/wiki otter项目地址 https://github.com/alibaba/otter 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发...

欢迎关注我的微信公众号 大数据左右手 ,感谢大家支持和鼓励！   技术如同手中的水有了生命似的，汇聚在了一起。作为大数据开发工作者，致力于大数据技术的学习与工作，分享大数据原理、架构、实时、离线、面试与总结，分享生活思考与读书见解。总有适合你的那一篇。   扫描如下二维码即可关注我的公众号

现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考）   1. HDFS读流程和写流程？    2. NameNode和Secondary NameNode工作机制？    3. HA NameNode如何工作？    4. DataNode工作机制？    5. DataNode数据损坏怎么办？    6. 压缩方式怎么选择？    7. MapReduce工作流程？    8. Yarn工作机制（作业提交全过程）是什么？   ...

欢迎关注微信公众号：大数据左右手 获取最新知识   主要内容 本篇主要从FlinkSQL实现的内核与原理，工作流等的视角带大家构建一幅FlinkSQL全景图。  Table API 与 SQL Apache Calcite 元数据 SQL 函数 Flink Planner 与 Blink Planner Blink SQL执行过程 SQL优化 总结  Table API 与 Table SQL Table API 和 Table SQL 集成在同一套 API 中。这套 API 的核心概念是Table，用作查询的输入和输出。 Apache Flink 具有两个关系型 API - Table AP...