还记得之前掌柜不是刚刚安装了Jupyter notebook来远程访问，解决了本地容易出现Jupyter安装包环境冲突的问题。然后今天运行一个预测模型的时候用到了Xgboost这个，就华丽丽地报错 “没有Xgboost模块包？  于是一查发现，拉取的Datascience-notebook镜像确实没有Xgboost包。。。这就尴尬了，既然缺少了，那么就安装Xgboost即可解决。但是，重点来了，一开始掌柜去终端安装了Xgboost：  看上面显示的也是成功安装Xgboost，但是当掌柜重新运行刚刚的程序时，还是报一开始的错误：  这就奇怪了，掌柜明明已经安装好了Xgboost，怎么还是报错没有...

今天在用ColumnTransformer方法对数值变量和非数值变量进行合成转换的时候，掌柜选择对其中的类别特征用LabelEncoder()方法，结果出现报错如上👆。但是换成OneHotEncoder（独热编码）就成功运行。 于是疑惑 为什么会出现这样的情况？ 一搜发现Stackoverflow上面也有同样疑问的朋友，结合两位答主回答：   发现两个主要的原因为什么不适合用LabelEncoder()：   因为LabelEncoder()的transformer是用来编码目标变量(y)（可参见官方文档）（感觉蛮多人误用了这个方法。。。也包括掌柜我 ） ，所以LabelEncoder()其...

在用pandas读取大型（都几乎是超1G）的csv文件，发生了如下报错：  搜了一下，   第一种发生原因：安装包版本问题。所以解决办法：  pip install -U numpy（好一部分朋友表示这个有用） conda install nomkl（少部分朋友表示这个有用） conda update anaconda/ mkl（一部分朋友表示这个有用）   但是这些都不适用掌柜这里，后来又查了一下。  第二种发生原因：容器分配的内存不足导致。 解决办法：修改容器内存配置。  docker update -m 4096M  或者 docker update -m 4096M --memory-...

这两天掌柜遇到要读取大型（基本都超过1G）的CSV文件到单个DataFrame里面的操作，搜了一下，这里结合自身实际情况做个总结，希望对有同样需求的朋友有帮助！下面直接看案例吧👇  除了一个小于1G的CSV文件，其余都大于1.3G。。。好了，现在掌柜要读取其中一个大型CSV文件到单个DataFrame中，那应该怎么操作呢？  第一种：使用chunksize模块。 优点：步骤简单，且对内存相当足（>=16G)的电脑适用。 缺点：如果你的电脑/云/服务器内存不足以支撑这些大型文件（比如你的内存只有2G，但是文件 >= 4G的情况下），同样会出现Memory error（内存泄漏）。 ...

前提：  云服务器操作系统为 CentOS 7.5 64位 Jupyter notebook 作为容器远程运行在Docker中   起因： 今天打开Jupyter notebook 打算进行数据分析的时候，突然出现这么大大的一个500命令👇：  掌柜就琢磨这是怎么一回事，怎么昨天才好好的今天就报错？后来突然想起来昨天有进行过安装包升级的操作。。。难道又是安装包的兼容性导致的？  错误排查过程： 为了验证这一想法，掌柜去docker里面找到该容器的日志进行查看，输入如下命令：  docker logs container_ID  接着就出现如下画面：  原来是nbconvert这个模块的问题，...

这两天有朋友在之前👉这篇文章 👈的时候在下面评论询问如何通过自相关（ACF）和偏自相关（PACF）图找到p、q值？这里掌柜就详细阐述一下。 PS：假设你已经知道AR、MA、以及ARIMA模型是什么。 PPS: 假设这里也已经做了差分，时间序列已经平稳。 PPPS：如果不想看前面的解释，那么请直接跳到最后看确定方法。如果你觉得本文有理解错误的地方，请指出来，谢谢。   首先，ACF图和PACF图分别指的是什么？   ACF图：  需要先了解一个概念：Autocorrelation Function (ACF)自相关函数，指任意时间 t（t=1,2,3…n)的 序列值Xt 与其自身的滞后（这里...

今天终于把最后一道普通用户可解的数据库简单题刷了，👉627. 交换工资（评论里说应该叫交换性别？？🤣）。 --------------------------------------我是无感情分割线--------------------------------------------- 10.24更新 刚刚更新了对解法五的异或运算解析，大家可以看看👉：博客 --------------------------------------我是无感情分割线--------------------------------------------- 此题确实简单，不过要注意题目里面有这样一条要求：...

刚刚读了一篇关于《滴滴数据仓库指标体系建设实践》👈的文章，不得不说一下这是目前掌柜看到最全面的一篇讲指标体系搭建的文章👍。这里分享过来，大家有空都可以读读全文看😁。 文章中主要谈论了5点： 1. 指标体系是什么？ 2. 为什么要搭建指标体系？ 3. 如何搭建指标体系？ 4. 怎么管理指标体系？ 5. 指标体系产品化。 这里掌柜主要对第三点 如何搭建指标体系？ 进行了一个思维导图的总结， 希望对各位有帮助：  参考文章来源👇：  《滴滴数据仓库指标体系建设实践》

今天刚好遇到这个情况，解决后来记录一下。操作很简单，只需要使用pandas的iloc方法即可。  情景复现：已有数据的csv表格如下  表格已有第一行表头和第一列数据，现在要在黄色框住区域添加新的数据。  那么问题就变成如何跳过第一行和第一列将数据写入csv？ 的问题。下面看具体操作（掌柜就不bb，直接上代码啦）：  import pandas as pd data = pd.read_csv('xxx.csv') data.iloc[0, 1:] = train #这里要写入的数据随意举例 data.iloc[1, 1:] = train1 data.iloc[2, 1:] = train2...

之前解析完Leetcode最后一道非VIP的SQL题 👉交换工资。其中最有意思的是有个解法使用了 “异或运算”，于是今天打算浅谈一下这个高效的方法。   首先，什么是位运算的“异或运算”？ 其实这个运算全称是 “按位异或（英文叫eXclusive OR，简称 XOR)”，看过掌柜之前这篇博客的朋友应该都知道之前掌柜谈了位运算的按位与（&）运算。 其实它还有另外几种（按位或（|）、按位取反（~）、左移运算 （<<）以及右移运算（>>）），还没遇到类似案例就暂不提，今天主要解决👉异或运算。 简单来说，异或运算就是对两个输入位进行比较，如果这两位是相同的，就输出0...

随手刷过力扣数据库题和牛客的SQL实战题，今天就对两边的简单题做个总结，让我们一起来看看对于SQL简单题常考的有哪些知识点以及题型吧。 PS:如果分类区有漏掉的题，欢迎评论区补充，谢谢！   常考<mark>知识点一</mark>：两表或多表连接，即👉<mark>考察JOIN 、LEFT JOIN、RIGHT JOIN、INNER JOIN 的用法和区别。</mark>  题型有： (PPS: 下面提到的题都是其中一种解***用到这个知识点；此题也有其他解法可用 ）  Leetcode 👉 175. 组合两表 Leetcode 👉 181....

今天要解的是：177. Nth Highest Salary（求第N高的工资）。 这里要注意这样一句话👇：  如果没有第N高的工资，就要输出NULL。   首先看此题考察的知识点：IFNULL（判断空值）函数用法和LIMIT用法。  其实这题可以说是👉 176. Second Highest Salary （求第二高工资） 的升级版。建议大家先看看第二高的题解会更易懂这题。  解题思路👉：此题要求第N高，那么重点就在N这个数字上。 第一种情况，N不为0的时候：假如N=1，那就是第一高，也就是索引为0（N - 1)的值；假如N=3，那就是第三高，即索引为2的值。 但是要注意一个特殊的情况那...

又是随手刷到一道牛客SQL题，这次是👉查找排除最大、最小salary之后的当前(to_date = ‘9999-01-01’ )员工的平均工资avg_salary。此题其实不算难，一开始掌柜想到的解题思路如下：👇  首先找到最大最小工资，然后剔除这个数值； 接下来筛选当前日期为’9999-01-01’ 的平均工资数据即可。 但是这题其实又有点坑🤔，因为题意并没有明显说👉要你在剔除最大最小工资那里也是筛选当前日期为’9999-01-01’ ！！！ 这个条件，所以如果你一开始没有get到这个隐藏点就按掌柜一开始的思路来提交查询就会报错。。。  按照牛客这个正解来看的思路应该是：  首先剔除...

掌柜最近在整理关于数据分析思维课程的知识点，全是用的思维导图方式。现在整理到第八讲（因为前几天电脑坏了耽误了进度😂，不然已经到十讲），后面会持续更新这篇博客，有需要的朋友请自取🤝(格式已经修改 ， 分割线上下都可到达GitHub）！ ---------------------------------------------我是一条无感情的导图分割线------------------------------------------ 09.25更新 这两天又重新整理了这个课程的思维导图（后面可能会加入掌柜对其他类似产品的分析报告），这次的更加简洁明了，希望对大家数据分析思维的构建有帮助，谢谢...