一、斐波那契数列   斐波那契数列是这样的一组数列：1、1、2、3、5、8、13、21、34、……在数学上，斐波纳契数列以如下被以递推的方法定义：F(1)=1，F(2)=1, F(n)=F(n-1)+F(n-2)（n>=3，n∈N*）即大于2的部分是由前两个相加获得。   若要求第 N 个数的值，我们可以用递归也可以通过迭代的方式求解 1、递归  def fibonacci(n): if n == 1 or n == 2: return 1 return fibonacci(n - 1) + fibonacci(n - 2)  2、迭代  def fibonacci(n): dic = ...

什么是数据仓库 数据仓库（下文以“数仓”称），顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、CRM、存款业务等数据。用于企业做数据分析、出报告、做决策；在有些公司也作为各业务系统的数据来源。 从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。 他们最主要的区别在于，传统事务型数据库如 MySQL 用于做联机事务处理（OLTP），例如交易事件的发生等；而数据仓库主要用于联机分析处理（OLAP），例如出报表等。 有些同学可能想，数据分析、出报表等工作也可以直接通过业务数据库完成呀，数据仓...

 先理解一下正类（Positive）和负类（Negetive），比如现在要预测用户是否点击了某个广告链接，点击了才是我们要的结果，这时，点击了则表示为正类，没点击则表示为负类。   TP(True Positive)：被预测成了正类的正类，即正确预测的正类   FP(False Positive)：被预测成了正类的负类   TN(True Negetive)：被预测成了负类的负类，即正确预测的负类   FN(False Negetive)：被预测成了负类的正类 一、准确率（Accuracy）   准确率跟正类负类没多大关系，表示在预测结果中，正确预测的数量 / 样本总数。 二、精确率（Prec...

 一、itchat   itchat是一个开源的微信个人号接口，这一次就用它来来玩玩。   在使用之前，先下载，老规矩通过 pip install itchat 即可安装。   想要获取朋友圈信息，只需要几行代码就可以获取。为减少登录次数，将获取到的信息保存到 json 文件中即可。  itchat.login() # 通过二维码连接登录账号 friend_msg = itchat.get_friends(update=True)[0:] # 获取微信好友信息 # 将微信好友信息保存起来，减少登录的次数 with open('./friend_message.json', 'w', encod...

     上次已经讲了怎么下载数据，这次就不说废话了，直接开始。首先导入相应的模块，然后检视一下数据情况。对数据有一个大致的了解之后，开始进行下一步操作。    一、分析数据  1、Survived 的情况  train_data['Survived'].value_counts()       2、Pclass 和 Survived 之间的关系  train_data.groupby('Pclass')['Survived'].mean()       3、Embarked 和 Survived 之间的关系  train_data.groupby('Embarked')['Survived'...

    今天看了个新闻，说是中国社会科学院城市发展与环境研究所及社会科学文献出版社共同发布《房地产蓝皮书：中国房地产发展报告No.16(2019)》指出房价上涨7.6%，看得我都坐不住了，这房价上涨什么时候是个头啊。为了让自己以后租得起房，我还是好好努力吧。于是我打开了Kaggle，准备上手第一道题，正巧发现有个房价预测，可能这是命运的安排吧...... 一、下载数据   进入到 kaggle 后要先登录，需要注意的是，注册的时候有一个验证，要***才会显示验证信息。             下载好数据之后，大致看一下数据的情况，在对应题目的页面也有关于数据属性的一些解释，看一下对应数据代表什...

     概述   聚类属于机器学习的无监督学习，在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。它跟分类的最主要区别就在于有没有“标签”。比如说我们有一组数据，数据对应着每个“标签”，我们通过这些数据与标签之间的相关性，预测出某些数据属于哪些“标签”，这属于分类；而聚类是没有“标签”的，因此说它属于无监督学习，分类则属于监督学习。   k-means(k-均值)属于聚类算法之一，笼统点说，它的过程是这样的，先设置参数k，通过欧式距离进行计算，从而将数据集分成k个簇。为了更好地理解这个算法，下面更加详细的介绍这个算法的思想。 算法思想   我们...

    前阵子报名参加了一个数据比赛，题目是预测5月15号（星期三）招商银行的股价，截止时间是在5月12号（星期天）。在本次预测中，我用到的是岭回归。   一、岭回归 线性回归   先回顾一下普通线性回归。一般来说，线性回归方程：y=w1x1+w2x2...+wnxn。我们把这组变量 xn 定成一个矩阵 X，把回归系数存放在向量W中，则 y=X*W。     存在的问题      (1)、特征数大于样本数   当特征数大于样本数的时候，上面的式子就存在问题了。矩阵要求逆，就必须为满秩矩阵，当特征数大于样本数的时候，就不为满秩了。可以通俗地理解为由于样本数量太少，没有办法提供足够的有效的信息。 ...

    前两篇博客分别对拉勾中关于 python 数据分析有关的信息进行获取（https://www.cnblogs.com/lyuzt/p/10636501.html）和对获取的数据进行可视化分析（https://www.cnblogs.com/lyuzt/p/10643941.html），这次我们就用 sklearn 对不同学历和工作经验的 python 数据分析师做一个简单的工资预测。由于在前面两篇博客中已经了解了数据集的大概，就直接进入正题。 一、对薪资进行转换   在这之前先导入模块并读入文件，不仅有训练数据文件，还有一组自拟的测试数据文件。  import pandas as pd...

  上回说到我们如何如何把拉勾的数据抓取下来的，既然获取了数据，就别放着不动，把它拿出来分析一下，看看这些数据里面都包含了什么信息。（本次博客源码地址：https://github.com/MaxLyu/Lagou_Analyze） 一、前期准备   由于上次抓的数据里面包含有 ID 这样的信息，我们需要将它去掉，并且查看描述性统计，确认是否存在异常值或者缺失值。  read_file = "analyst.csv" # 读取文件获得数据 data = pd.read_csv(read_file, encoding="gbk") # 去除数据中无关的列 ...