大数据面试，这一篇就够了  10万字大数据框架面试整理，你还不拿去吗？_牛客博客 https://blog.nowcoder.net/n/e478adb9d8c84e2b9270c6056cab463b

一. 前言  经历几个月，框架总结已经进行了一个阶段。技术如同手中的水有了生命似的，汇聚在了一起。12篇原文，篇篇阅读量都挺高。为了方便大家面试于学习查询资料。现生成文档供大家参考。其中内容包含以下，具体框架会一一介绍。      现在关注公众号【大数据左右手】，在公众号号中回复关键字【资料】，加作者即可获取10万字的pdf文件。         技术如同手中的水有了生命似的，汇聚在了一起。作为大数据开发工作者，致力于大数据技术的学习与工作，分享大数据原理、架构、实时、离线、面试与总结，分享生活思考与读书见解。总有适合你的那一篇。     一. Hadoop   Hadoop学习与面试8000...

目录 现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考）  HDFS读流程和写流程？ NameNode和Secondary NameNode工作机制？ HA NameNode如何工作？ DataNode工作机制？ DataNode数据损坏怎么办？ 压缩方式怎么选择？ MapReduce工作流程？ Yarn工作机制（作业提交全过程）是什么？ Yarn调度器了解多少？ HDFS小文件怎么处理？ Shuffle及优化？ Hadoop解决数据倾斜方法？ Hadoop的参数优化？ 异构存储（冷热数据分离）你了解吗？   关注下方公众号，了解更多面试  HDFS读流程和写流程 HDFS读数据流程 ...

目录 现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考）  HDFS读流程和写流程？ NameNode和Secondary NameNode工作机制？ HA NameNode如何工作？ DataNode工作机制？ DataNode数据损坏怎么办？ 压缩方式怎么选择？ MapReduce工作流程？ Yarn工作机制（作业提交全过程）是什么？ Yarn调度器了解多少？ HDFS小文件怎么处理？ Shuffle及优化？ Hadoop解决数据倾斜方法？ Hadoop的参数优化？ 异构存储（冷热数据分离）你了解吗？  关注下方公众号，了解更多面试  HDFS读流程和写流程 HDFS读数据流程 （...

技术如同手中的水有了生命似的，汇聚在了一起。 大数据面试与准备，围观微信公众号 【大数据左右手】  微信搜索 大数据左右手  关注获取更多内容

技术如同手中的水有了生命似的，汇聚在了一起。大数据面试准备，围观微信公众号【大数据左右手】

Spark-单value算子总结 1. map算子（改变结构就用map） 先看map函数  /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.clean(f) new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(cleanF)) }  功能说明 参数f是一个函数...

Spark key-value类型算子 1. partitionBy()按照K重新分区 先看partitionBy函数  def partitionBy(partitioner: Partitioner): RDD[(K, V)] = self.withScope { if (keyClass.isArray && partitioner.isInstanceOf[HashPartitioner]) { throw new SparkException("HashPartitioner cannot partition array keys.") } if ...

RDD任务切分中间分为：Application、Job、Stage和Task （1）Application：初始化一个SparkContext即生成一个Application； （2）Job：一个Action算子就会生成一个Job； （3）Stage：Stage等于宽依赖的个数加1； （4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。 注意：Application->Job->Stage->Task每一层都是1对n的关系 主要步骤 // 代码样例 def main(args: Array[String]): Unit = { //1.创建Spa...

微信公众号：大数据左右手 专注于大数据技术，人工智能和编程语言 个人既可码代码也可以码文字。欢迎转发与关注 关注我，在公众号回复 “机器学习” 可领取电子书  线性回归模型 在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。 在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件...

微信公众号：大数据左右手 专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注  上一篇我们介绍了线性回归的概述和最小二乘的介绍,对简单的一元线性方程模型手推了公式和python代码的实现。 机器学习之线性回归模型详细手推公式与代码实现(篇一) 今天这一篇来介绍多元线性回归模型 多元线性回归模型介绍 在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大 比如糖尿病人的血糖变化可能受...

微信公众号：大数据左右手 专注于大数据技术，人工智能和编程语言 个人既可码代码也可以码文字。欢迎转发与关注  一天学会Python基础 Python崇尚优美、清晰、简单，是一个优秀并广泛使用的语言。 应用领域  Web应用开发 自动化运维 科学计算 桌面软件 服务器软件（爬虫） 游戏 产品早期原型和迭代 人工智能 数据分析  ###话不多说，开搞 1.输入框 a = input("input:") print("你刚刚输入的是：%s"%a)  2.数***算 ## 习惯性的计算 b=5 c=2 b+c b-c print(b*c) ## 相乘 10 pr...

​微信公众号：大数据左右手 人要去的地方，除了远方，还有未来个人既可码代码也可以码文字。欢迎转发与关注*  今天不讲技术，今天我们看看日常生活——"幸存者偏差" 今天有幸看到李永乐老师的视频《幸存者偏差——你所看到的，未必是真相》颇有感悟，所有有了此文 什么是幸存者偏差? 幸存者偏差，是一种常见的逻辑谬误。指的是只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。日常表达为 “沉默的数据”、“死人不会说话” 等。可以用对照试验和贝叶斯公式来消除幸存者偏差 幸存者偏差意思是指，当取得资讯的渠道，仅来自于幸存者时（因为死人不会说话），此资讯可...

​微信公众号：大数据左右手 专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注  Python入门小进阶 接着上一篇目继续学习python 上一篇链接：半天轻轻松松入门python 本篇主要学习内容   函数  文件操作  文件夹操作  面向对象  异常  函数 ## 定义函数 标识符由字母、下划线和数字组成，且数字不能开头 ''' def 函数名():       代码 ''' ## 调用函数 ''' 函数名() ''' ## 例子（九九乘法表）     ##定义一个名字叫print_99的函数 def print_99():     i = 1     whil...