上回说到我们如何如何把拉勾的数据抓取下来的，既然获取了数据，就别放着不动，把它拿出来分析一下，看看这些数据里面都包含了什么信息。（本次博客源码地址：https://github.com/MaxLyu/Lagou_Analyze） 一、前期准备   由于上次抓的数据里面包含有 ID 这样的信息，我们需要将它去掉，并且查看描述性统计，确认是否存在异常值或者缺失值。  read_file = "analyst.csv" # 读取文件获得数据 data = pd.read_csv(read_file, encoding="gbk") # 去除数据中无关的列 ...

    为了了解跟python数据分析有关行业的信息，大概地了解一下对这个行业的要求以及薪资状况，我决定从网上获取信息并进行分析。既然想要分析就必须要有数据，于是我选择了拉勾，冒着危险深入内部，从他们那里得到了信息。不得不说，拉勾的反爬技术还挺厉害的，稍后再说明。话不多说，直接开始。 一、明确目的   每次爬虫都要有明确的目的，刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况，因此，薪资、学历、工作经验以及一些任职要求就是我的目的。   既然明确了目的，我们就要看一下它们在什么位置，所以我们打开浏览器，寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的...

一、概述   线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，在机器学习中属于监督学习。在数据分析等领域应用十分广泛。   很多情况下我们都用它进行预测，比如预测房屋价格。在这里用一个简单的例子来说明，假设有一组房屋数据，为了理解方便，假设决定价格的只有房屋到市中心的距离：     Distance(km)   Price(￥/m2)     5   100000     10   80000     15   60000     25   50000     30   30000         从上面自拟的数据可以看到，距离越小价格就会越...

  一、概述   KNN（K-最近邻）算法是相对比较简单的机器学习算法之一，它主要用于对事物进行分类。用比较官方的话来说就是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。为了更好地理解，通过一个简单的例子说明。   我们有一组自拟的关于电影中镜头的数据：                             那么问题来了，如果有一部电影 X，它的打戏为 3，吻戏为 2。那么这部电影应该属于哪一类？   我们把所有数据通过图表显示出来（圆点代表的是自拟的数据，也称训练集；三角形代表的是 X 电影的数...

           最近偶然到博客园看了一下，距离上次的博客已经过去很多天了，阅读量却少得可怜，对于博客园小白来说感觉不是很友好（主要是心理不平衡），而且有些博客被其他网站不带出处的转载了，它的阅读量却很多。于是灵光一闪，决定写个程序增加一下阅读量。（仅用于学术交流，实际上我就试了一下，没有真正刷过）   一、原理   一般来说，阅读量是通过 ip 识别的，如果一个 ip 已经请求过了，下一次就不再增加阅读量。因此，想要增加阅读量，就需要不同的 ip 进行请求。大致清楚了之后，就可以开始写代码了。   二、获取*** ip   国内有很多*** ip 的网站，这里我就推荐 http://31...

  一、安装Python3.7   安装依赖包     yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel   上官网下载安装包     wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz   安装zlib-devel包     yum install zlib-devel   解压Python-3.7.2      tar -xvf Python-3.7.2.tgz    将解压文件移动到 /us...

做一个web项目，往往需要有一个登录模块，验证用户名和密码之后跳转页面。为了实现更好的交互，往往需要用到 jQuery 等实现一些友好提示。比如用户名或者密码输入为空的时候提示不能为空；点击提交的时候如果用户名和密码不正确，还需要通过 ajax 异步请求实现友好提示。话不多说，先上代码（以部分为例）。 jsp：  <form action="LoginServlet" method="post" role="form" > <div class="form-group user"> <...

最近在做一个系统，需要完成登录动能进行跳转到另一个页面。在这个项目里面，我把 jsp,css,js文件都统一放在 WebContent 目录下的一个 WebPage 里面。  按照以前的习惯，写好了 servlet 之后在 web.xml 里面完成配置，但由于平时 jsp 文件都是直接放在 WebContent 下面，所以配置出现了问题。 后来得知，在新版的 web 项目已经不需要配置 web.xml 了，而且创建 web 项目的时候也不会自动生成 web.xml，当然我们可以手动添加，但其实内部为我们提供了最新的处理方式，即在 servlet 类前面添加了 @WebServlet(“/类名”...

  最近发现一个网站www.unsplash.com ( 没有广告费哈，纯粹觉得不错 )，网页做得很美观，上面也都是一些免费的摄影照片，觉得很好看，就决定利用蹩脚的技能写个爬虫下载图片。 先随意感受一下这个网站：  接下来开始对网页进行解析： 在该网页检查元素，选择其中一张图片查看它的代码     可以看到，图片 img 在一个 div 的 tag 里面，而且 class = ”IEpfq“，不过那么多内容，虽然有点乱，但其实看 src = ” “ 就行了。 但这只是一张图片的内容，得再看看其他的图片是不是一样。检查一下发现都是这样。这样子就算解析完成了。可以开始写代码了   1 #!/usr...