1 业务分析 1.1 需求 统计主站每个(指定)教程访问的客户端、地域信息分布 地域: ip转换 Spark SQL项目实战 客户端:useragent获取 Hadoop基础教程 =》如上两个操作:采用离线(Spark/MapReduce )的方式进行统计 1.2 实现步骤 课程编号、ip信息、useragent 进行相应的统计分析操作: MapReduce/Spark 1.3 项目架构 日志收集: Flume 离线分析: MapReduce/Spark 统计结果图形化展示 看起来很简单，没什么高深的，但是现在需求改了嘛，很正常的骚操作对不对！ 现在要求实时的精度大幅度提高！那么现在的架构已经...

目标  了解分布式架构中的相关概念 初始分布式架构及意义 分布式架构的发展过程和历史 分布式架构的演进过程 构建分布式架构最重要的因素  1 分布式架构的发展历史 1946 年情人节(2.14) , 世界上第一台电子数字计算机诞生在美 国宾夕法尼亚大学大学，它的名字是:ENIAC; 这台计算机占地 170 平米、重达 30 吨，每秒可进行 5000 次加法运算。 第一台电子计算机诞生以后，意味着一个日新月异的 IT 时代 的到来。一方面单台计算机的性能每年都在提升:从最早的 8 位 CPU 到现在的 64 位 CPU;从早期的 MB 级内存到现在的 GB 级别内存;从慢速的机械存储到现在的固态...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！  🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网  1 分布式架构的发展历史 1946 年情人节(2.14) , 世界上第一台电子数字计算机诞生在美 国宾夕法尼亚大学大学，它的名字是:ENIAC; 这台计算机占地 170 平米、重达 30 吨，每秒可进行 5000 次加法运算。 第一台电子计算机诞生以后，...

1 面试题 分库分表之后，id主键如何处理？ 2 考点分析 其实这是分库分表之后你必然要面对的一个问题，就是id咋生成？因为要是分成多个表之后，每个表都是从1开始累加，那肯定不对啊，需要一个全局唯一的id来支持。所以这都是你实际生产环境中必须考虑的问题。 3 面试题详解 3.1 数据库自增id  分库分表的id主键问题  这个就是说你的系统里每次得到一个id，都是往一个库的一个表里插入一条没什么业务含义的数据，然后获取一个数据库自增的一个id。拿到这个id之后再往对应的分库分表里去写入。 这个方案的好处就是方便简单，谁都会用；缺点就是单库生成自增id，要是高并发的话，就会有瓶颈的；如果你硬是要...

02_redis如何在保持读写分离+高可用的架构下，还能横向扩容支撑1T+海量数据1、单机redis在海量数据面前的瓶颈 2、怎么才能够突破单机瓶颈，让redis支撑海量数据？ 3、redis的集群架构 redis cluster 支撑N个redis master node，每个master node都可以挂载多个slave node 读写分离的架构，对于每个master来说，写就写到master，然后读就从mater对应的slave去读 高可用，因为每个master都有salve节点，那么如果mater挂掉，redis cluster这套机制，就会自动将某个slave切换成master re...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！  作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。 各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。 负责：  中央/分销预订系统性能优化 活动&券等营销中台建设 交易平台及数据中台等架构和开发设计 车联网核心平台-物联网连接平台、大数据平台架构设计及优化 LLM Agent应用开发 区块链应用开发 大数据开发挖掘经验 推荐系统项目  目前主攻市级软件项目设计、构建服务全社会的应用系统。  参考：  编程严选网  1 ...

1 面试题 消息队列(以下简称MQ),面试必问技术,工作必会技术,掌握它,是你的义务!!!  为什么使用MQ啊？ MQ有什么优点和缺点啊？ kafka、activemq、rabbitmq、rocketmq都有什么区别以及适合哪些场景？  2 考点分析 其实面试官主要是想看看： 2.1 知否系统缘何使用MQ？ 大量的候选人，说自己项目里用了redis、mq，但是其实他并不知道自己为什么要用这个东西。 其实说白了，就是为了用而用，或者是别人设计的架构，他从头到尾没思考过!!! 没有对自己的架构问过为什么的人，一定是平时没有思考的人，面试官对这类候选人印象通常很不好。因为进了团队担心你就木头木脑的干...

1 实战目标     至今专栏的访问量     至今从搜索引擎引流过来的专栏的访问量     2 实战流程      3 可视化显示     使用Spring Boot整合Echarts     阿里云DataV数据可视化框架     4 教程概要     初识实时流处理     日志收集框架Flume     消息队列Kafka     实战环境搭建     Spark Streaming入门     Spark Streaming进阶     Spark Streaming集成Kafka     Spark Streaming集成Flume     5 计划     整合Flume、Kaf...

1 实战目标  至今实战教程的访问量 至今从搜索引擎引流过来的实战教程的访问量  2 实战流程  3 可视化显示  使用Spring Boot整合Echarts 阿里云DataV数据可视化框架  4 教程概要  5 计划  整合Flume、Kafka、 Spark Streaming打造通用的流处理平台基础 Spark Streaming项目实战 数据处理结果可视化 拓展  6 预备知识  熟悉Linux基本命令 熟悉Scala、Python、 Java中的任何一门编程语言 有Hadoop和Spark基础  7 环境  OS: macOS JDK : 1.8 Hadoop: CDH ( 5.7...

1 面试题 分布式服务接口请求的顺序性如何保证？ 2 考点分析 其实分布式系统接口的调用顺序，也是个问题，一般来说是不用保证顺序的。但是有的时候可能确实是需要严格的顺序保证。给大家举个例子，你服务A调用服务B，先插入再删除。好，结果俩请求过去了，落在不同机器上，可能插入请求因为某些原因执行慢了一些，导致删除请求先执行了，此时因为没数据所以啥效果也没有；结果这个时候插入请求过来了，好，数据插入进去了，那就尴尬了。 本来应该是先插入 -> 再删除，这条数据应该没了，结果现在先删除 -> 再插入，数据还存在，最后你死都想不明白是怎么回事。 所以这都是分布式系统一些很常见的问题 3 面试题...

1 面试题  dubbo支持哪些通信协议？ 支持哪些序列化协议？  2 考点分析 在上一篇文章，我们说到dubbo的基本工作原理，那是你必须知道的，至少知道dubbo分成哪些层，然后平时怎么发起rpc请求的，注册、发现、调用，这些是最基本的。 接着就可以针对底层进行深入的讨伐了，比如第一步就可以先问问序列化协议这块，就是平时rpc的时候怎么走的？ 3 面试题详解 3.1 dubbo支持的广阔通信协议  3.1.1 dubbo协议 dubbo://192.168.0.1:20188默认就是走dubbo协议的，单一长连接，NIO异步通信，基于hessian作为序列化协议 适用场景 传输数据量很小（...

1 面试题 dubbo支持哪些通信协议？支持哪些序列化协议？ 2 考点分析 上一个问题，说说dubbo的基本工作原理，那是你必须知道的，至少知道dubbo分成哪些层，然后平时怎么发起rpc请求的，注册、发现、调用，这些是基本的。 接着就可以针对底层进行深入的问问了，比如第一步就可以先问问序列化协议这块，就是平时rpc的时候怎么走的？ 3 面试题详解 3.1 dubbo支持不同的通信协议  3.1.1 dubbo协议 dubbo://192.168.0.1:20188 默认就是走dubbo协议的，单一长连接，NIO异步通信，基于hessian作为序列化协议 适用的场景就是：传输数据量很小（每次请...

1 面试题  说一下的dubbo的工作原理？ 注册中心挂了可以继续通信吗？ 说说一次rpc请求的流程？  2 考点分析 MQ、ES、Redis、Dubbo，上来先问你一些思考的问题，原理（kafka高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理），生产环境里可能会碰到的一些问题（每种技术引入之后生产环境都可能会碰到一些问题），系统设计（设计MQ，设计搜索引擎，设计一个缓存，设计rpc框架） 当然比如说，hard面试官，死扣，结合项目死扣细节，百度（深入底层，基础性），阿里（结合项目死扣细节，扣很深的技术底层），小米（数据结构和算法）。 那既然开始聊分布式系统了，...