房租&电费：115元一天通勤：共享单车月卡10块，一天0.33元早饭：前一天晚上食堂拿的面包 0元午饭：15元晚饭：25元（公司点券）实际0元饮料：公司白开水 0元网购：一个月600左右 20一天共计：115+0.33+15+20=150.33

1-Spark Streaming第一次运行不丢失数据kafka参数 auto.offset.reset 参数设置成earliest 从最初始偏移量开始消费数据2-Spark Streaming精准一次消费手动维护偏移量处理完业务数据后，再进行提交偏移量操作极端情况下，如在提交偏移量时断网或停电会造成spark程序第二次启动时重复消费问题，所以在涉及到金额或精确性非常高的场景会使用事物保证精准一次消费3-Spark Streaming控制每秒消费数据的速度通过spark.streaming.kafka.maxRatePerPartition参数来设置Spark Streaming从kafka分...

1-spark架构组成Master 节点、Worker 节点、Driver驱动器，Executor 执行器、Task 计算任务Master 节点上常驻Master 进程，该进程负责管理所有的Worker 节点。（分配任务、收集运行信息、监控worker的存活状态）Worker 节点常驻Worker进程，该进程与Master 节点通信，还管理Spark 任务的执行。（启动Executor，监控任务运行状态）Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，...

1-Hive定义&优缺点hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。解决海量结构化日志的数据统计分析工具。数据仓库软件。提供了 SQL 操作分布式存储的大型数据集。将数据映射为逻辑表。Hive 的本质就是将 HQL 转换成 MapReduce 程序，方便使用。Hive 处理的数据存储在 HDFS，分析数据的底层实现 MapReduce，执行程序运行在 Yar...

1-Kafka定义&作用Kafka 是一种高吞吐量的分布式发布订阅消息系统，用于数据的缓冲。具有高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性。  作用一：消息系统。具备冗余存储、缓冲、异步通信、扩展性、可恢复性等功能。  作用二：存储系统：Kafka有消息持久化和多副本机制。将消息持久化到磁盘，可以把它作为长期的数据存储系统来使用  作用三：流式处理平台。Kafka 可以和流式处理框架进行集成。比如像Spark Streaming和Flink。提供了窗口、连接、变换和聚合等各类操作。2-Kafka架构生产者、Broker、消费者、ZK；注意：Zookeeper中保存Broke...

1-Zookeep定义&应用场景定义：ZooKeeper是一个分布式的，开放源码的，用于分布式应用程序的协调服务。所谓分布式协调主要是来解决分布式系统中多个进程之间的同步限制，防止出现脏读，例如我们常说的分布式锁。zookeeper服务端有两种模式：单机的独立模式和集群的仲裁模式，所谓仲裁是指一切事件只要满足多数派同意就执行，不需要等到集群中的每个节点反馈才执行。Zookeeper本身也是服从主从架构的，在仲裁模式下会有一个主要的节点作为Leader(领导者)，而其余集群中的节点作为Follower(公民)，对某一事件是否执行，leader都会先征询各个follower的反馈信息再做决...

linux属于大数据岗位需要会，但是不一定用得上的技术能力1-Linux常用命令linux 查看 cpu 信息的方法：使用 “cat /proc/cpuinfo” 命令。序号命令命令解释1top查看内存，cpu2df -h查看磁盘存储情况3iotop查看磁盘IO读写(yum install iotop安装）4iotop -o直接查看比较高的磁盘读写程序5netstat -tunlp | grep 端口号查看端口占用情况6uptime查看报告系统运行时长及平均负载7ps -aux查看进程2-Shell常用工具及写过的脚本1）awk、sed、cut、sort2）用Shell写过哪些脚本 （1）集群...

上次写了一下大数据开发的日常工作以及实习的一些工作流程总结，这次就具体的写一下数据开发过程中，完成一个模型的产生或者说一个需求方案的产出是怎么完成的。本文的内容对于大家在面试中的意义是在于结合到自己已有的项目以及数据开发的流程，去完善自己项目的细节，比如说很多同学学习了尚硅谷的数仓项目，但是不知道怎么去描述，或者在面试杯问到容易出现疏漏，那么就可以按照本文去梳理整个项目的流程。岗位选择：https://www.nowcoder.com/discuss/462382334675779584?sourceSSR=users学习路径：https://www.nowcoder.com/discuss/...

之前写过了大数据开发的岗位选择以及数据岗位的学习路径。岗位选择：https://www.nowcoder.com/discuss/462382334675779584?sourceSSR=users学习路径：https://www.nowcoder.com/discuss/463804300381245440?sourceSSR=users但对于还处于比较迷茫，不知道是否要投入到大数据的怀抱的同学，其实还希望了解到大数据开发每天的真实工作是哪些，想到我也刚结束一段实习、大家很多正在火热的准备暑期实习，所以顺便写一下实习的情况吧。1 实习入职：入职当天，半天进行入职培训，然后下午就是在开通各种权...

这段时间各大公司的春招陆续开始了，但是也有很多同学还在因为刚刚入坑或者还在纠结，对学习路径比较迷茫。（这也是去年的我）所以这边总结一下，一个面向面试的学习路径，后面也会补充上全面的学习路径。面向面试就是掌握到基本能应付暑期实习面试的基本技能和知识，足以在春招实习招聘中应对，但是如果要在秋招里乱杀还是得全面学习的哟。1 计算机基础1.1 基础八股文《计算机组成原理》《数据结构》《操作系统》《计算机网络》这四门课程是计算机专业的必学，虽然在大数据开发/数仓开发的面试场景中80%的时候并不会问道相关的八股，但是部分大厂（字节、阿里、快手（这是我面试到的））还是会问一些基本知识比如：TCP&UDP、三...

楼主是23届985本（末流）科，专业是“数据科学与大数据技术”，学了几年说实话一点都没明白毕业了到底能做什么岗位。去年也是这个时候着急忙慌的春招找暑期实习，可是实际上连能做什么岗位都不知道，就直接在招聘官网搜“数据”，然后看到了大数据开发工程师。实际上我压根不了解具体的工作内容，面试中也因此吃了很多亏。现在经过了史上最冷的”寒冬“，也有一定的实习经历，给大家伙简单说说我了解到的”数据“相关的岗位，一方面有利于大家根据自身情况选择方向，另一方面也可以在面试中避免信息差技术向一般的企业招聘岗位在大数据相关的岗位都是直接称为”大数据开发工程师“（但是不同的公司也会有区别，例如阿里的是：数据研发，腾讯...

在11.4号终于接到了阿里的录取意向书，在11.5号终于接到了正式offer，这个秋招啊，从夏天到秋天到冬天，真的过了好久好久，有好多个焦虑、无助、迷茫的夜晚。七八月份的时候在网易云实习，当时觉得网易应该挺好转正的，拿了保底offer再去试试别的公司吧，提前批因为上班忙的原因也没参加，后来到了八月底，情势一下子急转直下，部门leader开始经常和我强调，今年hc非常少（事实上三级部门内算上我也不会有超过四个暑期实习生，我们组只有我一个），要多做产出，要多做有价值的事，事实上那时候我都快被需求压得喘不过气了。问了问同批进来的实习生，其他部门leader都有明说了，今年没hc，早点答辩完跑路（虽然...

#我的秋招旅程#