记得13年刚毕业的时候，参与了某地市的国网营销系统开发和部署，后来老家也用上了这套系统，交电费时还对家人说，这就是我们做的系统，也许当一个开发人员真正用上了自己开发设计的系统，这一刻感觉以前的加班都不叫加班了

今天跟大家聊一聊绩效考核这件事。01 什么是绩效管理首先，绩效管理是很有必要的，要不然不会几乎每家公司都设立一些考核机制。绩效管理的出发点是建立一个奖惩机制，奖励能干的、愿意干的，激励能力还不够的。绩效只针对当期的工作情况评定，做的好了立马有奖励，做的不好了也要承担一定的后果。02 怎么做绩效管理绩效管理一定要保证公平。当然，公平从来也都是相对的，要保证每个人都认为这个规则是公平的，几乎也不太可能，只能说，制定的绩效考核规则大部分情况下应该是公平的，而不是随着领导心情随意打绩效。1. 制定绩效考核规则首先，要选定团队的绩效考核整体目标，正常情况下，只有大部门的绩效好的，每个团队的绩效才能好，否则的话，大家都别想过好年。围绕部门绩效，制定每个小组的绩效考核项，可以多几个方案，和团队成员达成一致。然后，根据确定的绩效考核项，每项尽可能的制定量化的目标。当然，不是每项工作都能量化的，特别是对于数据开发人员，你也许不能给他制定完成多少个ETL任务，完成多少个数据模型开发等具体的指标。首先这个目标肯定是以价值为导向制定，然后量化里面可以有模型的个数以及对于数据分析人员可以有模型的准确率以及达到的业务效果。2. 绩效过程管理尽管已经量化了绩效考核，但是打完绩效后可能还会有同事对绩效不满意，那么绩效过程管理就尤为重要。可能你会看到或者听到一些绩效考核的潜规则，每次绩效考核后都会有人换组，甚至离职。出现这样的情况，一般都是被考核者不满意自己的考核结果，产生了绩效考核的“期望差异”。绩效过程管理就是要让团队成员在考核期间及时认识到自己的不足，而不是考核结束后硬生生的给一个“差评”。例如，在成员考核期间有哪些问题，作为管理者要及时指出来，如果他能够及时认识到自己的问题并及时改进，那么也并不一定会兑现到绩效考核中。说到这里，也许有人会说，这是不是“职场PUA”？如果你的指导是专业的，那当然不是，所以，作为管理者，建议你也不要抛弃技术，要对技术和业务保持敏感性，这样才能做好技术团队的管理。03 如何拿好的绩效如何能够在团队中拿好绩效呢？总结一句话：首先，搞定出自己在团队中的定位，你是普通的“码农”还是架构师，或者是产品经理，然后按照定位做好自己工作的同时，以高一级的要求对标。

 今天看到一个词“极客”，这个词真不错（极客时间这个起的名字是真好~）。于是，作为数据人，我思考了什么是“数据极客”？数据极客第一个必备的技能就是可以写出“健壮的代码”，不管你是用SQL、Shell、Python还是Java、Scala，能保证你写的代码跑上几年都不会出现效率问题。具体每个数据岗位需求的代码技能不一样，可以参考之前写的这篇文章大数据岗位总结和相关书籍推荐 。代码写的再溜，可能也只是个工具人儿~所以我还要劝你要精通业务，什么时候可以说精通了呢，要做到业务指标的标准由你说了算，成为领域业务专家，参与一些重要指标的定义，业务流程的制定。最近就遇到了一件事，有个同事被产品经理问到展示客户的数据不对，不该为负数，他只是简单的说，这个数值都是通过某某指定的公式计算出来的，不会有错。其实，再分析这个数据会发现，这个页面展示是需要优化的，针对不同的用户指标的定义是不完全相同的。举个例子，运营商给移动用户发短信开头肯定是，最近的移动用户XXX，而不会是尊敬的联通用户XXX，这个要做到客户无感知，从数据上做适配，那么你不理解这个业务，你怎么知道怎么定义呢。所以，数据人有时候并不是执行者，而是定义者。做到上面这两点，已经很厉害了，但要成为真正的专家，还要有一些软实力，如沟通能力，在项目的进行过程中，你更需要通过有效的沟通去确定方案，消除误解，与项目成员协同前进；问题解决能力，我见到的数据人，往往能够凭借直觉以最短的时间给出正确的解决方案，但你可能没有看到的是，在这背后其实是经过大量实践累积，加上可以训练而来的经验；计划能力，合理地进行时间分配，并对一些关键任务，进行计划是很重要的，可以在桌面做一个待做、已做的计划列表；管理能力，管理会让人更加睿智并值得他人信赖，所以，当有管理机会到来时，请将它视为机遇和挑战，拥抱它。数据极客，不能是为了炫技能，进行五花八门的操作，就像小说里的武侠至尊，往往都是手中无剑、心中无我、无我无剑，却能轻松击败对手。所以，我们做数据，要能够实际对业务产生价值，要么能改善重要的指标，要么影响产品决策，要么影响业务流程，要么创造可持续的解决方案，总之，一句话，能够实现“数据驱动”，这样的数据极客才是“正道”！

最近很多读者在问职业规划的一些问题，有刚毕业的学生，也有工作了 3 年以上的程序员，今天一起跟大家聊聊，如何成长为一枚优秀的工程师。作为一名程序员，要想成为一名出色的工程师，要从以下三点加强。1.学会思考，思考可以是技术架构上的设计优化，也可以是业务逻辑上的改进创新。在接到每一次任务时候，你要去想自己到底要解决一个什么问题？解决的价值是什么？目标是什么？有哪几种方案能够解决问题？要学会不断问自己为什么，而这也恰恰是我们很多程序员所缺乏的。在日常的工作中，我们会接到不同的任务，而且通常都只有加班才能完成，自己“懒”的去思考为什么，只想着赶快干完，下班！其实你只需要一点时间，如果现在你的工作中没有思考的时间，那么你就会很难提高。最近在面试一些同行的时候也发现，有些人的工作只是手熟罢了，没有规划，提不出方案，领导安排什么就是做什么，所以我们要从码农的思维转换一下。2.自我学习，学习包括自己专业相关的，比如大数据技术栈，某种语言，某种工具，或者某种方法论。学习技术让自己从技术角度考虑自己可以完成哪些任务；学习方法论可以让自己从流程管理方面考虑怎么提高工作效率。3.实践，光有学习还不行滴，要有实践，工程师都是需要动手滴。其实，在处理很多线上 bug 定位和数据处理的坑时，如果你没有遇到过类似的问题，其实很难立刻定位到，没有亲身经历，是永远不知道定位处理一个问题有多大的成就感。在处理问题方面，其实多实践还是有好处的，一方面是熟能生巧，另一反面会增加你看问题的深度，尤其是对以后的开发，可以增加一些提前避坑的方案。我每次面试的时候都会问面试者他参与的项目，遇到了什么问题，怎么解决的。没有处理的线上 bug 的程序员，不是一个好工程师！“优秀的工程师都有相似的品质，而码农却各有各的‘菜’”

一、背景最近领导和团队沟通，想提高数据建模团队的能力。结合自己工作的经验和朋友的交流，来总结下如何去做。二、我做过什么很多大数据数据仓库人员都是从事过传统BI业务或者数据库业务的。传统BI一般都是Oracle存储过程，O是真的牛，很多银行和电力业务目前还是存储过程写的业务代码。自己曾经亲身经历过，两千行的业务package，写起来和改起来特别有“成就感”！后来听说了Hadoop，网上自己自己找资料，Win环境搭建了起来，现在去百度还能搜到那篇文章。后来再也不推荐别人去碰Win搭建Hadoop！后来机遇，进了大数据行业，参与主导了一些大数据从无到有的建设过程。真的很感谢那段晚上十点后回家的岁月，还有工作中的伙伴，这段工作算是自己的一个能力的很大提升。从没有接触过Linux到写过近1000行的数据处理脚本，现在公司应该还在用吧。三、数据人应该做什么还是说说我熟悉的数据仓库建设。个人认为数据人员可以走两个大方向提升自己(当然数仓理论知识必须得掌握)，一、精通业务，熟练SQL，加强工程能力。记住工程能力很重要！二、了解算法，掌握PYTHON，熟练做分析。我是那种什么都想做的人……1）、精通业务，就要做到业务指标的标准由你说了算，努力成为业务专家，参与一些重要指标的定义。比如去看公司的Wiki，通过在公司熟悉的同事找到业务架构负责人，了解相关资料。2）、熟练SQL，并不仅仅是熟练写。要做到了解SQL的执行计划，掌握执行数据库环境的调优。当然很多人会说这是DBA做的工作，但是数据人应该比DBA写的SQL多吧，当你发现你写的一段逻辑能从1个小时优化到5分钟，你就会发现这是多有成就感。掌握数据库，要从数据库的存储架构出发，掌握数据库的简单管理，熟练应用场景。最终你掌握几种数据库使用后，你会发现你能够帮助公司或部门做数据库选型了。

  说实话，我对主机厂工作还是有一定了解的，新能源造车企业现在看着很火，但是劝大家谨慎入坑。除非你对这块兴趣比较大。进去之后，发现和互联网工作相差很大，还是制造业氛围较浓，而且对与纯软件开发人员不是很友好，毕竟你不能直接产生车辆配件产品。另外，晋升的话后续也都是偏汽车行业业务了，后续如果再想跳槽出来去互联网行业，技术上恐怕是要废了。所以，大家不要看到风口就往里跳，另外新能源的薪资目前相对来说也比较低（对标互联网）。但是从新能源企业发展来看，推荐比亚迪，真的是转型成功的典范企业啊。以上，仅是个人见解。

  如何入门数据分析？_牛客博客 https://blog.nowcoder.net/n/eb1b40b489df4c269bc5ca5868fc4601

手把手教你搭建大数据平台  基于Ambari的大数据平台搭建_牛客博客 https://blog.nowcoder.net/n/d4b700b4857543b48da62e6a8fbfcf13

今天跟大家聊聊程序员35岁以后的方向怎么选？   作为程序员，行业内一直流传着35岁的魔咒，那么大龄程序员该如何跨过35岁这道坎？一哥离35岁也不远了，思考后和大家一起聊一聊~   从目前一哥接触到的同事，他们的发展大概分为这三条路：     一、钻研技术，成为技术专家     二、带团队，成为管理者，慢慢偏离技术     三、成为某业务领域的专家，主导业务流程设计     那么从一哥接触的同事获取到的经验和大家逐个聊一下，该如何走好这三条路！        技术专家路线        程序员大都有一个品质：好学！技术专家这类人大多痴迷于程序，就像痴迷于游戏一样。把自己写的代码看成孩子一样，一...

Hive 在大数据中可能是数据工程师使用的最多的组件，常见的数据仓库一般都是基于 Hive 搭建的，在使用 Hive 时候，遇到了两个奇怪的现象，今天给大家聊一下，以后遇到此类问题知道如何避坑！   坑一：改变字段类型后更新数据不成功   关于 hive 插入数据的一个小坑，今天插入一个表中数据，插入时写的是常数，比如 0.01 ，表中的字段也是 DECIMAL(5,2)，按照常理插入的应该是 0.01，但是插入后查询是 0，为甚！             遇到问题，咱也不能退缩！就分析呀，看语句没问题啊！还是上网查查有没有坑友。查了一圈发现还是观望最靠谱！上 hive 官网查，呀~ 发现了原...

一、什么是内卷化      最近开始了解到一个很有意思的词——“内卷化”，如果你还不知道这个词，那就非常建议往下看。      什么是内卷化？内卷化，亦称过密化，最初由文化人类学家亚历山大·戈登威泽提出，用于描述社会文化模式的变迁规律。当一种文化模式进入到最终的固定状态时，便逐渐局限于自身内部不断进行复杂化的转变，从而再也无法转化为新的文化形态。在中国语境下，内卷化概念最初闻名自历史学家杜赞奇对于古代中国经济生活的研究成果中。杜赞奇借用内卷化一词描述清代人***炸，廉价劳动力过剩，从而无法带动技术革新，使得古代中国的经济形态长期停滞于小农经济阶段的发展状态。      好吧，我相信你没看懂！ ...

今天和大家聊一下如何管理数据仓库质量如何管理。   一、 背景   现在数据仓库层面的工作越来越多，开发人员也越来越多，如何保障数据准确性是一项非常重要的工作，，数据仓库的很多应用数据直接呈现给用户或者支撑企业分析决策的，容不得数据出现错误。随着开展的业务越来越多，数据模型越来也多,我们管控的越晚就越容易出问题。尽管有数据仓库建设规范，同样在数据模型命名，数据逻辑开发，每个人都可能不一样，而这些也容易导致数据模型准确性的问题。我们迫切需要制定一套数据的准确性验证流程，让大家都按规范流程来做，保障数据的准确性。   二、 数据指标管理   首先我们看下数据仓库的数据流转，要确认计算出的指标正确，...

关联规则简介   关联规则挖掘可以让我们从数据集中发现项与项之间的关系，它在我们的生活中有很多应用场景，“购物篮分析”就是一个常见的场景，这个场景可以从消费者交易记录中发掘商品与商品之间的关联关系，进而通过商品捆绑销售或者相关推荐的方式带来更多的销售量。     搞懂关联规则中的几个重要概念：支持度、置信度、提升度    Apriori 算法的工作原理    在实际工作中，我们该如何进行关联规则挖掘    关联规则中重要的概念   我举一个超市购物的例子，下面是几名客户购买的商品列表：   支持度   支持度是个百分比，它指的是某个商品组合出现的次数与总次数之间的比例。支持度越高，代表这个组合...

今天在一个技术讨论群里有人问了一个问题，@我了一下，我就看了一眼。问题给了一个字符串，字符串里有数字有字母有特殊符号，需求是取该字符串中连续的数字。要求用正则表达式。我对正则表达式也不是精通，一知半解。就帮他看了一下，想了一个思路： 1、先找到第一个数字出现的位置； 2、从第一个数字的位置开始，找到第一个非数字出现的位置； 3、然后从第一个出现数字的位置开始截取字符，截取到第一个非字符的位置 根据以上思路写了一个函数如下：  create or replace function fc_get_number_lx(i_str in varchar2) return varchar2 is v_n...