从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的...

在实际工作中，我们需要经常跟第三方平台打交道，可能会对接第三方平台Controller接口，或者提供Controller接口给第三方平台调用。那么问题来了，如果设计一个优雅的Controller接口，能够满足：安全性、可重复调用、稳定性、好定位问题等多方面需求？今天跟大家一起聊聊设计Controller接口时，需要注意的一些地方，希望对你会有所帮助。为了防止Controller接口中的数据被篡改，很多时候我们需要对Controller接口做签名。接口请求方将请求参数 + 时间戳 + 密钥拼接成一个字符串，然后通过md5等hash算法，生成一个前面sign。然后在请求参数或者请求头中，增加sig...

1、先介绍自己的项目，然后对项目提问（问得很少）2、给一个你不熟悉的业务，要求做一些报表、指标，你会怎么做（如何设计数据仓库，数仓建模）3、Hive有哪些存储文件格式，对应的应用场景？4、给一个txt文件，load数据到Hive中需要考虑哪些问题？5、给A、B两张表进行join，描述join的过程6、用MapReduce详细的描述join的过程7、给定一张订单表请考虑它的一个表结构（分区表？不分区），存储数据使用增量表？全量表？为什么？8、基于订单表继续丰富场景，问订单表常发生状态的变化，该怎么存储维度变化？详细描述一下该如何实现拉链表？sql题：给定一个打卡表(dep_id，uid，time...

1.自我介绍，项目介绍2.你简历里说你用 Flink CDC 做了 MySQL 的增量同步，那我问你个问题哈：如果MySQL 有一张表发生了历史字段变更，比如某个字段从int改成了 string，你们的 Flink CDC 是怎么处理这种变更的？你们有遇到这种情况吗？线上出现这种情况怎么办3.Hive我想问下，你跑的慢的那个任务，是单表扫描慢，还是Join的时候卡住了？有没有看过 DAG？是哪个 Stage 卡住了？如果是Join卡，你是怎么调优的？广播 Join、Map Join、BucketMapJoin 你用过哪些？各自适合什么场景？4.看你用过kafka，你当时Kafka的Topic ...

1、讲一下你的项目吧2、挑一个你做的需求讲一下，你遇到的难点是什么3、你知道维度建模的过程吗4、你平时用什么语言多一点，回答java，然后问了一个string stringBuilder stringBuffer的区别5、HDFS写的流程，要是有一个datanode挂了怎么办6、kafka是如何保证数据不丢失和数据不重复，然后又说消费的时候呢7、spark的shuffle的过程8、你可以对shuffle进行优化吗9、SQL题：table_a(date, uid, vid) 找出3月19号看不同视频数排名前五的uid 【最好不用distinct】

1、维度建模中 星型模型和雪花模型 之间的区别2、缓慢变化维表如何处理呢3、全量表的数据保存多久4、那你们订单表是全量还是增量，你觉得增量是什么意思，那你们这边的数据保存多久呢5、说一下订单表的设计过程 以及 表的分区含义6、你前面提到了会进行维度退化，那么说一下订单表中有哪些维度退化属性 7、那你说一下你们数仓的一个全链路吧8、我看你项目还写了一个实时的，你这个在哪看的9、那说一下flink乱序事件处理的几种方式吧10、抖音有一张流量表和一张交易表，分别是 table_a(mid, pv) 和 table_b(mid, gmv)，如何将他们进行合并，数据倾斜如何处理11、你想做什么方向

1、自我介绍2、你学过的大数据掌握的最好的是哪一个3、hive里面排序一般怎么使用的4、hive内部表和外部表的区别，外部表在什么场景下使用5、hive视图用过吗6、你对维度和事实的理解7、你说到了业务过程，谈谈对它的理解8、你刚刚描述的是一个业务过程还是 多个业务过程9、多个业务过程放到一张事实表的你举个例子

不知道今天又有多少在校大学生没有抢到回家的票 哈哈哈高铁票每逢节假日就“秒光”已经成了“固有”的现象，不少人买不到票，便试图委托其他人一起抢，代抢“应运而生”。近日有媒体曝光，在某二手平台，在12306上代抢一张国庆期间的车票需要加价110到150元不等。

在绝大多数职场语境中，吵架都被视为禁忌。很多人本能地把维持和谐，避免冲突作为自己的工作目标之一。大家的认知普遍有一个误区，认为吵架就等于不和谐，把吵架和和谐直接对立起来；也有一些人由于各种原因，本身就害怕冲突，一旦有冲突出现，只会忍让，妥协或逃避。我见过太多职场老好人，从不敢say no，也不表达自己的需求。结果工作越来越多，压力越来越大，一肚子怨气无从消化。我也见过一些团队，开会时你好我好大家好，有想法和意见不说，看见问题不吭声，背后蛐蛐，互相埋怨，无法形成合力。在职场上，冲突是常态。大家有不同的背景，经验和立场，碰撞出火花是正常的。如果到处一团和气，那多半是装出来的。真正的和谐，不是没有争...

混迹职场，所有人都不可避免在某一时刻或阶段感到疲惫和迷茫，觉得工作如同鸡肋，食之无味，弃之可惜。这种时候，你是坚持下去？还是调转方向？这取决于你对自己处境的清晰判断，你是处于大家都会遭遇的短暂“平台期”？还是根本就深陷在一个下沉的漩涡中？我们常说坚持就是胜利，但错误的坚持反而是最大的内耗。如何科学地判断你所在的这家公司，是值得你长期投资的潜力股？还是应该及时止损的垃圾股？接下来，我们就用一套可实操的价值评估模型，照照X光，看看你的公司是不是值得你耗下去。1. 看前景 - 行业与公司是乘风破浪，还是勉力支撑？从行业趋势和公司状况两个部分入手，不要听老板怎么说，自己去收集信息，用真实数据说话。你所...

找工作面试，虽说主要靠个人实力，但并不是只要个人实力强就一定能成功。这事儿就跟漂亮国大学申请一样，有时候真是说不清道不明。除了个人实力，缘分/运气也不能少。一场面试失败，除了自己主观的原因，比如匹配度不高，应变能力不强，准备不足等等，还有很多其他的不可控因素。比如：1. 半路杀出程咬金 - 你很好，特别优秀，面试官对你的欣赏显而易见。但突然遇到了背景，经验，技能更匹配的“大神”，快要煮熟的鸭子飞了。2. 内部调整变化 - 空缺内部解决了，组织架构调整了，职位预算取消了，招聘计划冻结了，反正就是客观情况发生重大变化，停止招聘了。3. 隐形要求 - 公司或用人部门暗地里希望招聘特定性别，年龄或有某...

职场上经常出现这样一个现象：同样起点的人，短短几年间发展差距越来越大。除去一些非正常的情况，大部分快速升职加薪的人，都是在某些稀缺能力上甩开别人。专业上成为翘楚就不说了。今天要分享4种软能力，看名字稀松平常，但非常重要。同时具备这些能力的人并不多，他们往往是职场上最不可替代的那群人。1. 深度思考能力 - 不要用战术的勤奋掩盖战略的懒惰小A和小B同时加入公司，三年后小A已成为经理，小B还在原地踏步。观察他们的工作方式，小B每天忙得脚不沾地，加班加点，不可谓不勤奋；小A常常到点下班，但业绩很好。小A每次接到任务，会先花时间思考：这项工作的核心目标是什么？可能的解决方案有哪些？如何用最小投入获得最...

一场面试的压轴戏，通常是候选人提问。这个环节是面试的尾声，到这里，大多数人都长舒一口气。这个尾声非常重要。有水平的问题，无疑锦上添花，给你的面试提分。可惜，我在招聘面试时，发现很多候选人并不重视这个环节。很多人在这个环节表现不佳，要么直接说“我没有什么问题”，要么问一些低质问题，白白浪费了展示自己的最后机会，让面试寡淡无味地结束。你可以想象一下，你跟面试官在前面的互动中聊得很投机，最后面试官问你有什么问题，你说“我没有什么要问的”。就像一段音乐戛然而止，潦草收场，不免让人有种从云端极速坠落的感觉。没人喜欢这种感觉。一个有经验的候选人，会通过最后提问的环节，继续创造美好的互动体验，并借机让面试官...

很多人误以为领导喜欢听话的下属，盲目听话照做，一味听从领导的指挥，这真是大错特错。其实一个正常的，有一定管理能力，乐于授权的领导，他更欣赏那些能够跟他碰撞出思想的火花；能够自己独立交付高质量的作业；能够在领导说1的情况下，交付1.5；能够大胆提出不同意见的下属。而不是应声虫。我在工作中，上述两种下属都碰到过。前者省心省力，后者常常有一句话让我无语：这不是你说的吗？且不论这句话说出来情商是高是低。就事论事，一件工作如果由你负责，那领导未必比你更懂细节，甚至没你懂，没你专业。这时候如果盲目听从领导的“随口一说”，反而容易出错。况且，领导还指望着你有点创造力，把这事儿漂亮地搞定。领导需要的是你的见地...

面试中，你跟对方聊得是否愉快，是否越聊越投机，对方是不是对你感兴趣，你在面试过程中一定会有所察觉。有时不成熟的面试官还会或明或暗流露出一些蛛丝马迹，也能让你判断出他对你的表现是否满意。面试中有以下几个征兆，大概率说明面试官对你不太满意，意味着面试可能没戏了。1. 面试时间过短正常的面试时长是30-60分钟，如果面试（尤其是用人部门的面试）没几分钟就草草结束，那通常表明面试官对你没有兴趣，或者他觉得你与岗位要求不匹配，不想浪费时间。当然也有例外，有的公司把第一轮面试当成是进一步的简历筛选，可能跟你聊了几个问题之后让你进入到下一轮真正的面试。另外不乏有面试官面试风格如此，问完固定的几个问题就结束，...

我在自律上内驱力特别差，它只会让我去想做这件事，但要坚持下来，真的很难做到。以前试过很多自我管理的app，都坚持个一两周就放弃了。notion我看到过很多次，也试着去用过几次，但每次都被它复杂的操作所打败。在一月初也不知是怎么心血来潮，买一个notion模板，开始了我的探索之路。在探索过程中有几点心得：1、一定要清楚自己需要什么，买的这个模版也很复杂，对一个入门自我管理的人来说，太繁琐太复杂。2、清楚自己需要什么后，一定要舍弃什么，这也要那也要只会越来越混乱。3、有时候花钱也不一定能解决所有事。花钱买的这个模版我现在就用了其中的一两个模块，大部分还是我在b站跟着学习，一步步操作建立起来的。4、...