python 爬虫招聘（Python3获取拉勾网招聘信息的方法实例）

python 爬虫招聘

前言

为了了解跟python数据分析有关行业的信息，大概地了解一下对这个行业的要求以及薪资状况，我决定从网上获取信息并进行分析。既然想要分析就必须要有数据，于是我选择了拉勾，冒着危险深入内部，从他们那里得到了信息。不得不说，拉勾的反爬技术还挺厉害的，稍后再说明。话不多说，直接开始。

一、明确目的

每次爬虫都要有明确的目的，刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况，因此，薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的，我们就要看一下它们在什么位置，所以我们打开浏览器，寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的，而且在输入“python数据分析”敲击回车之后跳转的页面，招聘信息不是一开始就显示出来的，通过点击页码也只是招聘信息在变化甚至连network都没多大变化，可以大胆猜测他是通过post请求的，所以我们只关注post请求以及xhr文件，很快就发现了我们要的东西。

点击preview可见详细信息以json形式保存着，其中‘salary'、‘workyear'、‘education'、‘positionid'（招聘信息详情页有关的id）是我们要的。再观察一下它的form data，其中kd=关键字，pn=pagenum（页码）这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数，待会儿要用。知道了目标之后，爬起来！

二、开始爬虫

先设置请求头headers，把平时用的user-agent带上，再把formdata也带上，用requests库直接requests.post(url, headers=headers, data=formdata) ，然后就开始报错了： {"status":false,"msg":"您操作太频繁,请稍后再访问","clientip":"......","state":2402}。

解决这个问题的关键在于，了解拉勾的反爬机制：在进入python数据分析招聘页之前，我们要在主页，不妨叫它start_url输入关键字跳转。在这个过程中，服务器会传回来一个cookies，如果带着这个cookies请求的话我们就可以得到要的东西，所以要先请求start_url获取cookies在请求目标url，而且在请求目标地址的话还要带上referer这个请求头参数，referer的含义大概是这样：告诉服务器我是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理。另外，睡眠时间也要设置的长一点，不然很容易被封。知道了反爬机制之后，话不多说，直接上代码。

其中save_data(items)是保存文件，我是保存在csv文件。篇幅有限，这里就不展示了。

三、获取招聘详情

上面说了positionid 是为了获取详情页，详情页里面有要的任职要求。这个要获取就相对容易了，不过文本的处理并没有很简单，我只能通过“要求”这两个字获取任职要求（虽然有的为任职技能啥的，就这样进行取舍了）。

四、成果与展示

到这里，爬取的任务就结束了，源码地址：https://github.com/maxlyu/lagou_analyze。获得数据之后就是小小地分析一下了，这个下次再总结。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对开心学习网的支持。

原文链接：https://www.cnblogs.com/lyuzt/p/10636501.html