网络爬虫技术包括什么 一文看懂网络爬虫实现原理与技术

导读：在《什么是网络爬虫？有什么用？怎么爬？终于有人讲明白了》一文中，我们已经初步认识了网络爬虫，并了解了网络爬虫的应用领域。本文我们将学习网络爬虫的实现原理及其实现技术。

作者：韦玮

如需转载请联系大数据（ID：hzdashuju）

01 网络爬虫实现原理详解

不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在很多共性。在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。

1. 通用网络爬虫

首先我们来看通用网络爬虫的实现原理。通用网络爬虫的实现原理及过程可以简要概括如下（见图3-1）。

▲图3-1 通用网络爬虫的实现原理及过程

1. 获取初始的URL。初始的URL地址可以由用户人为地指定，也可以由用户指定的某个或某几个初始爬取网页决定。
2. 根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，首先需要爬取对应URL地址中的网页，爬取了对应的URL地址中的网页后，将网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，同时将已爬取的URL地址存放到一个URL列表中，用于去重及判断爬取的进程。
3. 将新的URL放到URL队列中。在第2步中，获取了下一个新的URL地址之后，会将新的URL地址放到URL队列中。
4. 从URL队列中读取新的URL，并依据新的URL爬取网页，同时从新网页中获取新URL，并重复上述的爬取过程。
5. 满足爬虫系统设置的停止条件时，停止爬取。在编写爬虫的时候，一般会设置相应的停止条件。如果没有设置停止条件，爬虫则会一直爬取下去，一直到无法获取新的URL地址为止，若设置了停止条件，爬虫则会在停止条件满足时停止爬取。

以上就是通用网络爬虫的实现过程与基本原理，接下来，我们为大家分析聚焦网络爬虫的基本原理及其实现过程。

2. 聚焦网络爬虫

聚焦网络爬虫，由于其需要有目的地进行爬取，所以对于通用网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通用网络爬虫多出三步，即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选取等，如图3-2所示。

▲图3-2 聚焦网络爬虫的基本原理及其实现过程

1. 对爬取目标的定义和描述。在聚焦网络爬虫中，我们首先要依据爬取需求定义好该聚焦网络爬虫爬取的目标，以及进行相关的描述。
2. 获取初始的URL。
3. 根据初始的URL爬取页面，并获得新的URL。
4. 从新的URL中过滤掉与爬取目标无关的链接。因为聚焦网络爬虫对网页的爬取是有目的性的，所以与目标无关的网页将会被过滤掉。同时，也需要将已爬取的URL地址存放到一个URL列表中，用于去重和判断爬取的进程。
5. 将过滤后的链接放到URL队列中。
6. 从URL队列中，根据搜索算法，确定URL的优先级，并确定下一步要爬取的URL地址。在通用网络爬虫中，下一步爬取哪些URL地址，是不太重要的，但是在聚焦网络爬虫中，由于其具有目的性，故而下一步爬取哪些URL地址相对来说是比较重要的。对于聚焦网络爬虫来说，不同的爬取顺序，可能导致爬虫的执行效率不同，所以，我们需要依据搜索策略来确定下一步需要爬取哪些URL地址。
7. 从下一步要爬取的URL地址中，读取新的URL，然后依据新的URL地址爬取网页，并重复上述爬取过程。
8. 满足系统中设置的停止条件时，或无法获取新的URL地址时，停止爬行。

现在我们初步掌握了网络爬虫的实现原理以及相应的工作流程，下面来了解网络爬虫的爬行策略。

02 爬行策略

在网络爬虫爬取的过程，在待爬取的URL列表中，可能有很多URL地址，那么这些URL地址，爬虫应该先爬取哪个，后爬取哪个呢？

在通用网络爬虫中，虽然爬取的顺序并不是那么重要，但是在其他很多爬虫中，比如聚焦网络爬虫中，爬取的顺序非常重要，而爬取的顺序，一般由爬行策略决定。我们将为大家介绍一些常见的爬行策略。

爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。下面我们将分别进行介绍。

如图3-3所示，假设有一个网站，ABCDEFG分别为站点下的网页，图中箭头表示网页的层次结构。

▲图3-3 某网站的网页层次结构示意图

假如此时网页ABCDEFG都在爬行队列中，那么按照不同的爬行策略，其爬取的顺序是不同的。

比如，如果按照深度优先爬行策略去爬取的话，那么此时会首先爬取一个网页，然后将这个网页的下层链接依次深入爬取完再返回上一层进行爬取。

所以，若按深度优先爬行策略，图3-3中的爬行顺序可以是：A → D → E → B → C → F → G。

如果按照广度优先的爬行策略去爬取的话，那么此时首先会爬取同一层次的网页，将同一层次的网页全部爬取完后，在选择下一个层次的网页去爬行，比如，上述的网站中，如果按照广度优先的爬行策略去爬取的话，爬行顺序可以是：A→B→C→D→E→F→G。

除了以上两种爬行策略之外，我们还可以采用大站爬行策略。我们可以按对应网页所属的站点进行归类，如果某个网站的网页数量多，那么我们则将其称为大站，按照这种策略，网页数量越多的网站越大，然后，优先爬取大站中的网页URL地址。

一个网页的反向链接数，指的是该网页被其他网页指向的次数，这个次数在一定程度上代表着该网页被其他网页的推荐次数。所以，如果按反链策略去爬行的话，那么哪个网页的反链数量越多，则哪个网页将被优先爬取。

但是，在实际情况中，如果单纯按反链策略去决定一个网页的优先程度的话，那么可能会出现大量的作弊情况。比如，做一些垃圾站群，并将这些网站互相链接，如果这样的话，每个站点都将获得较高的反链，从而达到作弊的目的。

作为爬虫项目方，我们当然不希望受到这种作弊行为的干扰，所以，如果采用反向链接策略去爬取的话，一般会考虑可靠的反链数。

除了以上这些爬行策略，在实际中还有很多其他的爬行策略，比如OPIC策略、Partial PageRank策略等。

03 网页更新策略

一个网站的网页经常会更新，作为爬虫方，在网页更新后，我们则需要对这些网页进行重新爬取，那么什么时候去爬取合适呢？如果网站更新过慢，而爬虫爬取得过于频繁，则必然会增加爬虫及网站服务器的压力，若网站更新较快，但是爬虫爬取的时间间隔较长，则我们爬取的内容版本会过老，不利于新内容的爬取。

显然，网站的更新频率与爬虫访问网站的频率越接近，则效果越好，当然，爬虫服务器资源有限的时候，此时爬虫也需要根据对应策略，让不同的网页具有不同的更新优先级，优先级高的网页更新，将获得较快的爬取响应。

具体来说，常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略等，以下我们将分别进行讲解。

在搜索引擎查询某个关键词的时候，会出现一个排名结果，在排名结果中，通常会有大量的网页，但是，大部分用户都只会关注排名靠前的网页，所以，在爬虫服务器资源有限的情况下，爬虫会优先更新排名结果靠前的网页。

这种更新策略，我们称之为用户体验策略，那么在这种策略中，爬虫到底何时去爬取这些排名结果靠前的网页呢？此时，爬取中会保留对应网页的多个历史版本，并进行对应分析，依据这多个历史版本的内容更新、搜索质量影响、用户体验等信息，来确定对这些网页的爬取周期。

除此之外，我们还可以使用历史数据策略来确定对网页更新爬取的周期。比如，我们可以依据某一个网页的历史更新数据，通过泊松过程进行建模等手段，预测该网页下一次更新的时间，从而确定下一次对该网页爬取的时间，即确定更新周期。

以上两种策略，都需要历史数据作为依据。有的时候，若一个网页为新网页，则不会有对应的历史数据，并且，如果要依据历史数据进行分析，则需要爬虫服务器保存对应网页的历史版本信息，这无疑给爬虫服务器带来了更多的压力和负担。

如果想要解决这些问题，则需要采取新的更新策略。比较常用的是聚类分析策略。那么什么是聚类分析策略呢？

在生活中，相信大家对分类已经非常熟悉，比如我们去商场，商场中的商品一般都分好类了，方便顾客去选购相应的商品，此时，商品分类的类别是固定的，是已经拟定好的。

但是，假如商品的数量巨大，事先无法对其进行分类，或者说，根本不知道将会拥有哪些类别的商品，此时，我们应该如何解决将商品归类的问题呢？

这时候我们可以用聚类的方式解决，依据商品之间的共性进行相应分析，将共性较多的商品聚为一类，此时，商品聚集成的类的数目是不一定的，但是能保证的是，聚在一起的商品之间一定有某种共性，即依据“物以类聚”的思想去实现。

同样，在我们的聚类算法中，也会有类似的分析过程。

将聚类分析算法运用在爬虫对网页的更新上，我们可以这样做，如图3-4所示。

▲图3-4 网页更新策略之聚类算法

1. 首先，经过大量的研究发现，网页可能具有不同的内容，但是一般来说，具有类似属性的网页，其更新频率类似。这是聚类分析算法运用在爬虫网页的更新上的一个前提指导思想。
2. 有了1中的指导思想后，我们可以首先对海量的网页进行聚类分析，在聚类之后，会形成多个类，每个类中的网页具有类似的属性，即一般具有类似的更新频率。
3. 聚类完成后，我们可以对同一个聚类中的网页进行抽样，然后求该抽样结果的平均更新值，从而确定对每个聚类的爬行频率。

以上，就是使用爬虫爬取网页的时候，常见的3种更新策略，我们掌握了其算法思想后，在后续我们进行爬虫的实际开发的时候，编写出来的爬虫执行效率会更高，并且执行逻辑会更合理。

04 网页分析算法

在搜索引擎中，爬虫爬取了对应的网页之后，会将网页存储到服务器的原始数据库中，之后，搜索引擎会对这些网页进行分析并确定各网页的重要性，即会影响用户检索的排名结果。

所以在此，我们需要对搜索引擎的网页分析算法进行简单了解。

搜索引擎的网页分析算法主要分为3类：基于用户行为的网页分析算法、基于网络拓扑的网页分析算法、基于网页内容的网页分析算法。接下来我们分别对这些算法进行讲解。

1. 基于用户行为的网页分析算法

基于用户行为的网页分析算法是比较好理解的。这种算法中，会依据用户对这些网页的访问行为，对这些网页进行评价，比如，依据用户对该网页的访问频率、用户对网页的访问时长、用户的单击率等信息对网页进行综合评价。

2. 基于网络拓扑的网页分析算法

基于网络拓扑的网页分析算法是依靠网页的链接关系、结构关系、已知网页或数据等对网页进行分析的一种算法，所谓拓扑，简单来说即结构关系的意思。

基于网络拓扑的网页分析算法，同样主要可以细分为3种类型：基于网页粒度的分析算法、基于网页块粒度的分析算法、基于网站粒度的分析算法。

PageRank算法是一种比较典型的基于网页粒度的分析算法。相信很多朋友都听过Page-Rank算法，它是谷歌搜索引擎的核心算法，简单来说，它会根据网页之间的链接关系对网页的权重进行计算，并可以依靠这些计算出来的权重，对网页进行排名。

当然，具体的算法细节有很多，在此不展开讲解。除了PageRank算法之外，HITS算法也是一种常见的基于网页粒度的分析算法。

基于网页块粒度的分析算法，也是依靠网页间链接关系进行计算的，但计算规则有所不同。

我们知道，在一个网页中通常会包含多个超链接，但一般其指向的外部链接中并不是所有的链接都与网站主题相关，或者说，这些外部链接对该网页的重要程度是不一样的，所以若要基于网页块粒度进行分析，则需要对一个网页中的这些外部链接划分层次，不同层次的外部链接对于该网页来说，其重要程度不同。

这种算法的分析效率和准确率，会比传统的算法好一些。

基于网站粒度的分析算法，也与PageRank算法类似，但是，如果采用基于网站粒度进行分析，相应的，会使用SiteRank算法。即此时我们会划分站点的层次和等级，而不再具体地计算站点下的各个网页的等级。

所以其相对于基于网页粒度的算法来说，则更加简单高效，但是会带来一些缺点，比如精确度不如基于网页粒度的分析算法精确。

3. 基于网页内容的网页分析算法

在基于网页内容的网页分析算法中，会依据网页的数据、文本等网页内容特征，对网页进行相应的评价。

以上，我简单为大家介绍了搜索引擎中的网页分析算法，我们学习爬虫，需要对这些算法进行相应的了解。

05 身份识别

在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。

那么，爬虫应该如何告知网站站长自己的身份呢？

一般地，爬虫在对网页进行爬取访问的时候，会通过HTTP请求中的User Agent字段告知自己的身份信息。一般爬虫访问一个网站的时候，首先会根据该站点下的Robots.txt文件来确定可爬取的网页范围，Robots协议是需要网络爬虫共同遵守的协议，对于一些禁止的URL地址，网络爬虫则不应爬取访问。

同时，如果爬虫在爬取某一个站点时陷入死循环，造成该站点的服务压力过大，如果有正确的身份设置，那么该站点的站长则可以想办法联系到该爬虫方，然后停止对应的爬虫程序。

当然，有些爬虫会伪装成其他爬虫或浏览器去爬取网站，以获得一些额外数据，或者有些爬虫，会无视Robots协议的限制而任意爬取。从技术的角度来说，这些行为实现起来不难，但是这些行为是我们不提倡的，因为只有共同遵守一个良好的网络规则，才能够达到爬虫方和站点服务方的双赢。

06 网络爬虫实现技术

通过前面的学习，我们基本上对爬虫的基本理论知识有了比较全面的了解，那么，如果我们要实现网络爬虫技术，要开发自己的网络爬虫，可以使用哪些语言进行开发呢？

开发网络爬虫的语言有很多，常见的语言有：Python、Java、PHP、Node.JS、C 、Go语言等。以下我们将分别介绍一下用这些语言写爬虫的特点：

• Python：爬虫框架非常丰富，并且多线程的处理能力较强，并且简单易学、代码简洁，优点很多。
• Java：适合开发大型爬虫项目。
• PHP：后端处理很强，代码很简洁，模块也较丰富，但是并发能力相对来说较弱。
• Node.JS：支持高并发与多线程处理。
• C ：运行速度快，适合开发大型爬虫项目，成本较高。
• Go语言：同样高并发能力非常强。

07 小结

1. 聚焦网络爬虫，由于其需要有目的地进行爬取，所以对于通用网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通用网络爬虫多出3步，即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选取。
2. 常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略。
3. 聚类分析可以依据商品之间的共性进行相应的处理，将共性较多的商品聚为一类。
4. 在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，此时，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。
5. 开发网络爬虫的语言有很多，常见的语言有Python、Java、PHP、Node.JS、C 、Go语言等。

关于作者：韦玮，资深网络爬虫技术专家、大数据专家和软件开发工程师，从事大型软件开发与技术服务多年，精通Python技术，在Python网络爬虫、Python机器学习、Python数据分析与挖掘、Python Web开发等多个领域都有丰富的实战经验。

本文摘编自《精通Python网络爬虫：核心技术、框架与项目实战》，经出版方授权发布。

延伸阅读《精通Python网络爬虫》

推荐语：资深专家以实战为导向，讲透Python网络爬虫各项核心技术和主流框架，深度讲解网络爬虫的抓取技术与反爬攻关技巧。

,