欢迎来到我的新博客平台！

先说下我的情况，目前在一个小公司实习，最近因为毕设论文的事要回学校，一直持续到12月底，本来想着离职回去写论文顺便准备秋招，后面面试再找老大，今天离职流程都快走完了，同事突然说，你要是后面会来，可以请假的，请几个月都行，到时候八月抽空来参加转正答辩就行，离职又入职多麻烦，我瞬间就有点不知所措，目前这个公司给我薪资不会很高，因此想去外面试试水，后面也不太肯定到底会不会来现在的公司，我是继续离职呢，还是暂时放弃离职然后请长假呢？大家给个建议呗。。

本文面向的读者是从事数据分析、数据处理（ETL）等相关工作的朋友们，相信大家在工作中一定遇到过数据倾斜的问题，读完本文，你会了解到数据倾斜的定义及其危害、产生的原因及应对措施、常见倾斜场景及解决办法等知识，相信对你今后处理数据倾斜问题会有一定的帮助。 目前流行的大数据相关的计算框架之所以能够处理大量的数据和计算，基本上都是依赖分布式计算的思想，即由一个通过某种组织关系连接在一起的集群来共同完成计算任务。 这是一个非常好的计算模型，无论多大的数据量，只要集群可以扩展，就能够扩充算力，自如应对，但与此同时，也为数据倾斜的产生埋下了伏笔。 1:什么是数据倾斜？ 前面提到分布式计算，是一个集群共同承担...

               下面内容转自大数据与人工智能微信公众号，由于网络上推荐系统的相关学习资料太多太杂，东拼西凑学习很难摸出门道，同时我也在学习推荐系统，因此我将该系列内容摘录到我的博客，方便大家直接在博客中查看，大家一起学习进步，后面我也会阅读推荐系统相关的论文，并在本博客记录笔记，希望大家一起进步哈。  ===================正文开始=================== 文章总计约1万字，阅读需50min，建议收藏下来慢慢看，贵在坚持！ 在《推荐系统介绍》这篇文章中提到，冷启动是推荐系统的重要挑战之一。 那么，什么是冷启动？如何设计一个好的冷启动方案？可能很多读者...

       下面内容转自大数据与人工智能微信公众号，由于网络上推荐系统的相关学习资料太多太杂，东拼西凑学习很难摸出门道，同时我也在学习推荐系统，因此我将该系列内容摘录到我的博客，方便大家直接在博客中查看，大家一起学习进步，后面我也会阅读推荐系统相关的论文，并在本博客记录笔记，希望大家一起进步哈。         在我更新第一篇《推荐系统介绍》之后，过了一两天这篇介绍的阅读量就达到了三百多，可见当下存在一个矛盾：大家日益增长的对推荐系统好文章的渴求与真正有含金量的推荐系统学习资料间供应存在着巨大的矛盾，因此我将加快本系列文章的更新，很感谢大数据与人工智能微信公众号，大家如果有额外的需求，可以去...

近日需要写一些包含代码的Word文档，直接复制代码进去并不优雅，于是从网上发现了这个小工具，和大家分享一下。 一、工具 http://www.planetb.ca/syntax-highlight-word 二：操作步骤： 第一步：打开上面这个网站，截图如下：  第二步：将自己的代码复制到这个Code文本框中，并点击Show Hightlighted按钮，会自动打开一个新页面，该页面中会处理好我们的代码，截图如下：  此时，我们复制粘贴该段代码到我们的Word文档中即可，效果图如下：  经测试，shell代码也可以进行上面的操作，所以论文中插入代码段就会更美观，本文到此结束，感谢查看。

       下面内容转自大数据与人工智能微信公众号，由于网络上推荐系统的相关学习资料太多太杂，东拼西凑学习很难摸出门道，同时我也在学习推荐系统，因此我将该系列内容摘录到我的博客，方便大家直接在博客中查看，大家一起学习进步，后面我也会阅读推荐系统相关的论文，并在本博客记录笔记，希望大家一起进步哈。 ===================正文开始=================== 一，推荐系统产生的背景 随着移动互联网的快速发展，我们进入了信息爆炸时代。当前通过互联网提供服务的平台越来越多，相应的提供的服务种类(购物，视频，新闻，音乐，婚恋，社交等)层出不穷，服务“标的物”的种类也越来越多样...

LRU原理 LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。  最常见的实现是使用一个链表保存缓存数据，详细算法实现如下    新数据插入到链表头部； 每当缓存命中（即缓存数据被访问），则将数据移到链表头部； 当链表满的时候，将链表尾部的数据丢弃。 【命中率】 当存在热点数据时，LRU的效率很好，但偶发性的、周期性的批量操作会导致LRU命中率急剧下降，缓存污染情况比较严重。 【复杂度】 实现简单。 【代价】 命中时需要遍历链表，找到命中的数据块索引，然后需要将数据移到头部。...

有的同学会把%CPU和us%搞晕，也就是下图所示在top的时候查看cpu的信息。  这时有的同学会问：这两个CPU到底哪个是对的。 其实都是对的，只是表达的意思不一样。 官方解释如下 Cpu(s)：34.0% us: 用户空间占用CPU百分比   %CPU：上次更新到现在的CPU时间占用百分比 读到这里我也不是十分理解他们俩的关系，我一直以为%CPU是每个进程占用的cpu百分比，按理来说所有进程的该值加在一起应该等于us. 但事实并非如此，此时我们可以在top界面按一下数字1  这时候我们可以清晰得看到每个cpu的运行状态。 通过上面的显示我们发现Cpu(s)表示的是 所有用户进程占用整个cp...

最近在学习主题分类的内容，下面是关于TF-IDF通俗易懂的介绍。 任务一：现在有一篇长文《中国的蜜蜂养殖》，用计算机提取它的关键词。 1、词频：如果某个词很重要，它应该在这篇文章中多次出现。我们进行"词频"（Term Frequency，缩写为TF）统计。 2、停用词：结果你肯定猜到了，出现次数最多的词是----"的"、"是"、"在"----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。 规则一：如果某个词比较少见，但是它在这篇文章中多次出...

目的 Compressed Sparse Column Format (CSC)的目的是为了压缩矩阵，减少矩阵存储所占用的空间。这很好理解，手法无法就是通过增加一些"元信息"来描述矩阵中的非零元素存储的位置(基于列)，然后结合非零元素的值来表示矩阵。这样在一些场景下可以减少矩阵存储的空间。 Spark API 在Spark中我们一般创建这样的稀疏矩阵的API为：   package org.apache.spark.ml.linalg /** * Creates a column-major sparse matrix in Compressed Sparse Column...

       近日在搞xgboost分布式在spark上的运行情况，发现其运行速度较慢，便查找原因，下面这篇博客诗写得很好的一篇，转载以备后用！ 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本...