爬虫突破封禁的6种常见方法（爬虫如何突破IP限制）

知己知彼百战不殆，对于竞争对手或者目标消费群体的数据收集，我们乐此不疲在IP代理盛行的今天，爬虫技术已经可以被我们充分发挥，海量收集数据，毫不手软如果不用代理ip，我们的爬虫行动往往会受到很多限制，以致最终被完全封锁掉有什么方法能避免呢？下面一起来看看，我来为大家科普一下关于爬虫突破封禁的6种常见方法?下面希望有你要的答案，我们一起来看看吧!

爬虫突破封禁的6种常见方法

知己知彼百战不殆，对于竞争对手或者目标消费群体的数据收集，我们乐此不疲。在IP代理盛行的今天，爬虫技术已经可以被我们充分发挥，海量收集数据，毫不手软。如果不用代理ip，我们的爬虫行动往往会受到很多限制，以致最终被完全封锁掉。有什么方法能避免呢？下面一起来看看。

1.验证码

我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。最让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。对于验证码，可以通过OCR来识别图片，Github上面有很多大神分享的代码可以用，可以去看看。

2.Headers限制

这应该是最常见的，最基本的反爬虫手段，主要是初步判断你是否是真实的浏览器在操作。这个一般很好解决，把浏览器中的Headers信息复制上去就OK了。

3.减少返回的信息

最基本的隐藏真实的数据量，只有不断加载才能刷新信息。还有的就更变态，会只给你展示一部分信息，人都看不到，爬虫也无能为力。比如CNKI，你每次搜索能够得到的内容就是非常有限的。这个貌似没有很好的解决办法，但是这么干的网站毕竟是少数，因为这种方式，其实在某种程度上是牺牲了一部分真实用户的体验。

4.IP限制

限制IP也是很多网站反爬虫的初衷，但是我们可以通过苹果IP不断更换IP的形式来绕过这种限制，通过苹果IP代理结合爬虫技术是实现这类需求的不二选择！

5.动态加载

通过异步加载，一方面是为了反爬虫，一方面也可以给网页浏览带来不同的体验，实现更多的功能。很多动态网站都是通过ajax或者JavaScript来加载请求的网页。在遇到动态加载的网页的时候就需要去分析ajax请求，一般情况都能直接找到包含我们想要数据的json文件。如果网站给文件加密，那么可以通过selenium phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。理论上selenium是比较全能的爬虫方案，因为这个确实算是真实的用户行为。除非网站的反爬虫严苛到宁愿误杀的地步。