什么是并发 在过去单CPU时代，单任务在一个时间点只能执行单一程序。之后发展到多任务阶段，计算机能在同一时间点并行执行多任务或多进程。虽然并不是真正意义上的“同一时间点”，而是多个任务或进程共享一个CPU，并交由操作系统来完成多任务间对CPU的运行切换，以使得每个任务都有机会获得一定的时间片运行。 随着多任务对软件开发者带来的新挑战，程序不在能假设独占所有的CPU时间、所有的内存和其他计算机资源。一个好的程序榜样是在其不再使用这些资源时对其进行释放，以使得其他程序能有机会使用这些资源。 再后来发展到多线程技术，使得在一个程序内部能拥有多个线程并行执行。一个线程的执行可以被认为是一个CPU在执行...

sqoop一些语法的使用      参数详细资料 观看这个博客 http://shiyanjun.cn/archives/624.html Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：  业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析。 对大规模的数据在Hadoop平台上进行分析以后...

2017年部分公司的笔试题以及2018春招我参加的笔试题 https://github.com/h2pl/Algorithm 记录不一定完全，请谅解 下面是项目截图

一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop 2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop 2.0中的MapReduce为MRv2后者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop 1.x对MapReduce job的调度管理方式，它主要包括两部分功能：  1.ResourceManagement 资源管理 2.JobScheduling/JobMonitoring 任务调度监控  到了Hadoop 2.x也就是Yarn，它的目标是将这两部分功能分开，也就是分别用两个进程来管理这两个任务：  1.ResourceManager 2...

数据仓库概念总结    发表于 2018-03-05 |  分类于  数据仓库   0x00 前言   整理一些数据仓库中的常用概念。大部分概念不是照搬书上的准确定义，会加入很多自己的理解。   0x01 概念   数据仓库（Data Warehouse）   数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。   个人理解，数据仓库不单单是一个概念，其实算是对数据管理和使用的一种方法论，它包括了如何合理地收集数据、如何规范的管理数据、如何优雅地使用数据，以及任务调度、数据血统分析等一系列内容。 在...

一条数据的HBase之旅，简明HBase入门教程-Write全流程 如果将上篇内容理解为一个冗长的"铺垫"，那么，从本文开始，剧情才开始正式展开。本文基于提供的样例数据，介绍了写数据的接口，RowKey定义，数据在客户端的组装，数据路由，打包分发，以及RegionServer侧将数据写入到Region中的全部流程。  NoSQL漫谈 本文整体思路   前文内容回顾   示例数据   HBase可选接口介绍   表服务接口介绍   介绍几种写数据的模式   如何构建Put对象(包含RowKey定义以及列定义)   数据路由   Client侧的分组打包   Client发RP...

本文由毕杰山同学贡献 ，原文首发于公众号：NoSQL漫谈  链接：https://mp.weixin.qq.com/s/CXsGcbbsKTMXotlwRFQ5xw  一些常见的HBase新手问题   什么样的数据适合用HBase来存储？ 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉？ 存放于HBase中的数据记录，为何不直接存放于HDFS之上？ 能否直接使用HBase来存储文件数据？ Region(HBase中的数据分片)迁移后，数据是否也会被迁移？ 为何基于Spark/Hive分析HBase数据时性能较差？    开篇   用惯了Oracle/MySQL的同学...

    写在最前 我写过很多篇秋招总结，这篇文章应该是最后一篇总结，当然也是最完整，最详细的一篇总结。秋招是我人生中一段宝贵的经历，不仅是我研究生生涯交出的一份答卷，也是未来职业生涯的开端。仅以此文，献给自己，以及各位在求职路上的，或者是已经经历过校招的朋友们。不忘初心，方得始终。   前言 在下本是跨专业渣考研的985渣硕一枚，经历研究生两年的学习积累，有幸于2019秋季招聘中拿到几个公司的研发岗offer，包括百度，阿里，腾讯，今日头条，网易，华为等。   （在秋招末期，有幸又拿到了滴滴和亚马逊的offer，那时已经11月份了，所以之前的文章里都没有提到过）   一路走来也遇到很多困难，也...

No.10 MapReduce 编程模型极简篇 dantezhao 木东居士 2017-09-23 0x00 前言 回想自己最初学 Hadoop 的时候，初衷是写MapReduce程序，但是搭建单机环境折腾一周，搭建分布式环境折腾一周，跑个Demo解决一下Bug又一周过去了。最后都忘了自己是想学 MapReduce 的。 感觉自己虽然是搞Hadoop的，但是写MR比自己想的要少很多。初期是花了很多精力在安装以及集群的各种日常维护，熟悉Hive后就经常用Hive来解决问题，然后逐渐地各种任务过度到了Spark上，因此对MapReduce的重视就少了很多。 细想起来，MapReduce本身是很简洁...

HDFS常用命令：    注：以下执行命令均在spark安装目录的bin目录下。    path 为路径 src为文件路径 dist 为文件夹    1、-help[cmd] 显示命令的帮助信息   ./hdfs dfs - help   ls   1   2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹   . /hdfs dfs -ls / log / map  . /hdfs dfs -lsr / log /  (递归的)   1 2   3、-du(s) 显示目录中所有文件大小,或者当只指定一个文件时，显示此文件的大小   ./hdfs dfs -du /user/had...

根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。 一、角色出演   如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。 Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。 二、写入数据    1、发送写数据请求  HDFS中的存储单元...