華云彬 匡芳君

Abstract： Aiming at the problems of offensive， defensive， and crawling efficiency in the development of Web crawlers， the paper focuses on analyzing the working principle and implementation of the distributed crawler based on the Scrapy framework， as well as some distributed operating principles， anti-reptiles， and the algorithm of duplicate removal， Redis database， MongoDB database， etc.， designs and implements a distributed Web crawler based on Scrapy framework. Finally， through comparative test and analysis of the crawler， it is concluded that how to improve crawling efficiency of the crawler and avoid the anti-crawler strategy of the site.

引言

隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)時代的到來，普通搜索引擎已無法滿足人們對信息獲取的需求，網(wǎng)絡(luò)爬蟲應(yīng)運而生，如百度的網(wǎng)絡(luò)爬蟲Baiduspider、谷歌的網(wǎng)絡(luò)爬蟲Googlebot等[1]，也陸續(xù)涌現(xiàn)了很多成熟的爬蟲框架，如本文使用的Scrapy[2]。但其從催生傳承演變至今，爬蟲開發(fā)也已面臨著一些問題，對此可闡釋分析如下。

（1）網(wǎng)站與爬蟲之間的攻防問題 [3]。針對爬蟲無限制地爬取所有網(wǎng)頁的狀況，制定了robots協(xié)議[4]，但由于該協(xié)議并未成為一個嚴謹規(guī)范，只是約定俗成的技術(shù)守則，故而不能真正地阻止網(wǎng)絡(luò)爬蟲，因此出現(xiàn)了反爬蟲技術(shù)。本文將使用分布式技術(shù)來解決這個問題。

（2）統(tǒng)一資源地址的去重問題。在爬取的過程中，爬蟲經(jīng)常會遇到相同的URL，如果再次爬取，就造成了資源的浪費。普遍采取的方案是使用md5等哈希后存入set。而本文將使用BloomFilter算法[5]來解決去重問題。

（3）爬蟲爬取效率問題。如今的爬蟲普遍存在爬取效率較低的問題，為了解決該問題，本文的爬蟲采用了分布式[6]、代理池等技術(shù)。

綜上可知，本文重點圍繞前述問題，研究和實現(xiàn)基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲。

1相關(guān)關(guān)鍵技術(shù)

1.1網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)爬蟲，又稱為網(wǎng)絡(luò)蜘蛛，是一種能夠根據(jù)程序設(shè)計者所設(shè)計的規(guī)則，自動抓取特定網(wǎng)頁信息的程序。網(wǎng)絡(luò)爬蟲始于一個或多個事先確定的被稱為種子的URL地址，如果能夠訪問則下載其中的內(nèi)容，而后利用程序設(shè)計者開發(fā)的解析模塊，提取其中所需要的數(shù)據(jù)或者其它的URL鏈接，并將獲取到的URL鏈接加入到待爬取列表中，重復(fù)這一步驟，直至待爬列表為空。網(wǎng)絡(luò)爬蟲按照實現(xiàn)原理可分為通用網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲、聚焦網(wǎng)絡(luò)爬蟲3種類型[7]。本文主要研究聚焦型網(wǎng)絡(luò)爬蟲。

目前，網(wǎng)絡(luò)爬蟲一般分為深度優(yōu)先和廣度優(yōu)先2種爬取策略算法[8]。前者一般用棧實現(xiàn)，即一個爬蟲程序爬取一個HTML文件后，只要找到該文件中的一個鏈接，就立即去爬取該鏈接并重復(fù)執(zhí)行深度優(yōu)先算法，直至到達終點后，重新返至可前溯的HTML文件中找尋其它鏈接。后者則一般用隊列實現(xiàn)，即一個爬蟲程序爬取一個HTML文件后，找到該文件中所有鏈接，再存入隊列中，然后根據(jù)隊列中鏈接繼續(xù)爬取并重復(fù)執(zhí)行廣度優(yōu)先算法。本文網(wǎng)絡(luò)爬蟲采用廣度優(yōu)先算法。

1.2Scrapy框架技術(shù)

Scrapy是Python開發(fā)的一個高層次的、快速的Web抓取框架[9]，用于抓取網(wǎng)頁并從中提取結(jié)構(gòu)化數(shù)據(jù)，已廣泛應(yīng)用于自動化測試與數(shù)據(jù)挖掘領(lǐng)域研究中。Scrapy框架主要由引擎（Engine）、調(diào)度器（Scheduler）、Spiders、下載器（Downloader）、Item Pipeline、中間件（Middleware）組成，設(shè)計架構(gòu)即如圖1所示。

1.3Redis分布式爬蟲相關(guān)技術(shù)

分布式爬蟲，又稱集群爬蟲。分布式爬蟲可實現(xiàn)多臺機器同時爬取，爬取速度快、可輕松避開對方的反爬蟲機制對IP的封鎖檢測。網(wǎng)絡(luò)爬蟲是一個偏向IO的任務(wù)，研究認為分布式爬蟲主要考慮爬蟲任務(wù)的去重、爬蟲任務(wù)的統(tǒng)一調(diào)度和爬蟲的速度、存儲等問題，而Redis則能有效解決這些問題。Redis是一個非關(guān)系型數(shù)據(jù)庫，支持key-value和list、set、hash等數(shù)據(jù)結(jié)構(gòu)，同時Redis也是一個內(nèi)存數(shù)據(jù)庫，具備著讀取速度快的優(yōu)點。本文研究采用了基于Scrapy框架和Redis的分布式爬蟲，爬蟲調(diào)度任務(wù)則采用Python的scrapy-redis模塊實現(xiàn)。

1.4爬蟲去重BloomFilter算法

網(wǎng)絡(luò)爬蟲的效率至關(guān)重要，而爬蟲的URL鏈接去重則是影響爬蟲效率的主要因素之一。在實際應(yīng)用中，爬蟲在爬取數(shù)據(jù)時，往往會爬取到許多重復(fù)的URL 鏈接，如果再對這些鏈接進行爬取，就會造成內(nèi)存及帶寬資源的極大浪費，從而降低爬蟲效率。針對這種情況，研究中集結(jié)提煉了數(shù)種爬蟲的去重策略，可分述如下。

（1）將URL保存到MySQL等數(shù)據(jù)庫中，每次爬取之前訪問數(shù)據(jù)庫查詢，效率低。

（2）將URL保存到set中，訪問速度快，但內(nèi)存占用巨大，且不利于持久化。

（3）將URL使用md5等算法哈希后存入set中。Scrapy框架默認使用的即為該方法。

（4）使用BitMap方法，將URL通過hash進行映射。

（5）使用BloomFilter算法對BitMap方法提供改進。

2分布式網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)

2.1網(wǎng)絡(luò)爬蟲的功能需求分析

本文主要研究基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲。為了更好測試爬蟲的效率，本爬蟲并沒有采取常見的爬取目標網(wǎng)頁，而是采用了API接口的形式進行數(shù)據(jù)的爬取。爬取的目標選擇了知乎網(wǎng)（www.zhihu.com）的公開用戶信息，通過API接口的形式爬取大量知乎用戶的基本信息。這里，關(guān)于該網(wǎng)絡(luò)爬蟲抓取流程的分析將展開如下探討論述。

首先為了獲取知乎的用戶信息API接口，使用了Chrome自帶的抓包工具對從知乎上隨機選取的一名用戶的主頁進行了分析，最終成功提取到了用戶信息的API接口（https：//api.zhihu.com/people/xxxxxx，xxxxxx為用戶ID），該API返回的信息為JSON格式。這樣一來，已爬取得到了該用戶的信息。然而API接口中，卻仍未得到用戶的ID。為了能大批量地獲取用戶的ID，通過對知乎的深入研究后發(fā)現(xiàn)，知乎的每位用戶主頁中，有一個用戶關(guān)注他人列表及一個他人關(guān)注用戶的列表。如此再經(jīng)過抓包工具的分析，就成功獲取到了這2個列表的API接口。這2個接口的API中有一個參數(shù)為token值，該值是唯一的，可以從前述的用戶信息返回的JSON數(shù)據(jù)中獲取到。至此，就可以大批量地爬取知乎用戶信息。

2.2數(shù)據(jù)爬取的流程設(shè)計

分布式網(wǎng)絡(luò)爬蟲根據(jù)設(shè)定的初始URL地址去爬取數(shù)據(jù)，使用廣度優(yōu)先算法完成數(shù)據(jù)的獲取任務(wù)直至符合網(wǎng)絡(luò)爬蟲結(jié)束的條件。本項目中，網(wǎng)絡(luò)爬蟲首先根據(jù)給定的初始用戶API接口去爬取，獲取數(shù)據(jù)后解析得到用戶的token值，然后根據(jù)token值去爬取該用戶的關(guān)注他人列表及一個關(guān)注該用戶的他人列表，獲取這2個列表中所有用戶的ID值，再以此為基礎(chǔ)去爬取用戶的基本信息。重復(fù)以上步驟，直至網(wǎng)絡(luò)爬蟲結(jié)束終止本次爬取任務(wù)。知乎分布式網(wǎng)絡(luò)爬蟲的設(shè)計流程可如圖2所示。

2.3反反爬的策略設(shè)計與實現(xiàn)

很多網(wǎng)站為了防止網(wǎng)絡(luò)爬蟲爬取數(shù)據(jù)，都紛紛出臺了一定的策略來避免爬蟲的爬取。然而，在實際應(yīng)用中，在爬蟲與反爬蟲的對弈中，爬蟲終會勝利。結(jié)合本項目的知乎分布式爬蟲，研發(fā)定制了一些本爬蟲所采用的反反爬蟲措施，可解析描述如下。

（1）設(shè)置User-Agent。這是網(wǎng)站上普遍采取的反爬蟲措施，可以直接通過更改header中的User-Agent值來達成目的。在本項目中，使用了fake-useragent模塊來動態(tài)更改User-Agent。

（2）設(shè)置爬蟲爬取間隔。很多網(wǎng)站一般都會檢測一個IP的單位時間內(nèi)的訪問次數(shù)，如果某用戶訪問速率偏高，就容易導(dǎo)致IP被封。為了解決這個問題，可以設(shè)置爬蟲的爬取間隔（如最簡單的time.sleep（1）），還可以設(shè)置爬蟲爬取一段時間后、添入一個睡眠機制等。

而關(guān)于方法（2），設(shè)置爬蟲爬取間隔，雖然可以有效避免被封禁IP，但在實際項目中，考慮到需要大規(guī)模地爬取數(shù)據(jù)，爬取的效率尤為重要，而設(shè)置爬取間隔會大大地降低效率。因此在本項目中，采用了更換代理IP的方法進行解決，一旦IP被封禁，就切換代理IP。本項目維護了一個IP代理池（使用Requests庫定期爬取網(wǎng)絡(luò)上的免費代理IP，并定時檢測可用性。IP存放在Redis數(shù)據(jù)庫set中，有利于去重及方便調(diào)用）。除了前文陳述的本項目中用到的幾種反反爬蟲措施外，還有很多反反爬蟲策略，如模擬登錄使用Cookie、驗證碼識別、PhantomJS+Selenium（數(shù)據(jù)JS后期渲染）、使用JS的加密庫生成動態(tài)Token等。

2.4爬蟲分布式方案的設(shè)計與實現(xiàn)

本項目的分布式爬蟲采用Scrapy框架加Redis數(shù)據(jù)庫，分布式調(diào)度采用scrapy-redis模塊。本項目把分布式爬蟲主要分為Master端和Slave端2個部分。其中，Slave端重點是從Master端獲取任務(wù)進行爬取，在爬取的同時也生成新的任務(wù)，并將任務(wù)傳遞給Master端，爬取到的數(shù)據(jù)則保存到Master端的MongoDB中。而Master端只有一個Redis數(shù)據(jù)庫和一個MongoDB數(shù)據(jù)庫，Redis就是對Slave端提交的任務(wù)進行去重及放入待爬取的隊列，MongoDB則是用來存儲獲取到的用戶信息[10]。本項目分布式策略邏輯可如圖3所示。

2.5Scrapy各功能模塊設(shè)計與實現(xiàn)

2.5.1Spider模塊的設(shè)計與實現(xiàn)

Spider模塊是爬取、分析知乎數(shù)據(jù)的類。該模塊中設(shè)計中涉及多種比較重要的屬性和方法，對其內(nèi)容可闡述如下。

（1）allowed_domains屬性：表示爬蟲可以爬取該URL下的子鏈接。

（2）start_urls屬性：是一個存放爬蟲的初始URL鏈接的數(shù)組。

（3）parse方法：是scrapy.Spider類下的一個方法，每個生成的Response對象都會默認作為參數(shù)傳遞給該方法。在該項目中，使用該方法解析用戶信息，獲取用戶的基本信息，給出用戶信息的Item對象，并給出2個爬取用戶關(guān)注他人列表及關(guān)注用戶的他人列表數(shù)據(jù)的Request對象，回調(diào)函數(shù)（callback）為parse_follower方法。

（4）parse_follower方法：運行解析出2個列表中所有的用戶ID，并給出爬取用戶信息的Request對象，回調(diào)函數(shù)（callback）為parse方法。

2.5.2Items、Pipelines模塊的設(shè)計與實現(xiàn)

Item是一個數(shù)據(jù)容器，用于保存爬取到的數(shù)據(jù)。Pipelines則用于設(shè)計處理生成的的Item。在本項目中，Items中有一個ZhiHuUserInfoItem類，類中定義了相應(yīng)的字段Field（有token_url、info2個字段）。Pipelines中卻配有一個把Item中的數(shù)據(jù)保存到數(shù)據(jù)庫的類，該部分將在2.6數(shù)據(jù)存儲中予以詳情解析闡述。

2.5.3Middleware模塊的設(shè)計與實現(xiàn)

Middleware模塊有Downloader Middlewares和Spider Middlewares2個類型，本文主要采用Downloader Middlewares（下載中間件）。Middlewares方法設(shè)計可見如下。

（1）RandomUserAgentDownloaderMiddleware類：負責(zé)更換每個Request對象header中的User-Agent值。這里更換User-Agent使用了fake-useragent模塊（https：//github.com/hellysmile/fake-useragent），該模塊可以隨機更換不同操作系統(tǒng)、不同瀏覽器的User-Agent值。

（2）RandomProxyMiddleware類：負責(zé)更換代理IP及代理IP連接異常情況下的應(yīng)對處理。其中，還將內(nèi)配數(shù)種設(shè)計方法，可概述如下。

① process_request（）：負責(zé)更換Request的代理IP。

② cut_proxy（）：負責(zé)從Redis中獲取一個代理IP。

③ process_response（）：負責(zé)處理請求結(jié)束后返回的信息，如果返回403錯誤，就意味著代理IP已失效，需要重新切換代理。

④ process_exception（）：負責(zé)處理連接時的異常情況。如TimeoutError、ConnectionRefusedError、ResponseFailed、ResponseNeverReceived、TunnelError、ConnectError等異?；蝈e誤情況。若遭遇以上情況，這里同樣采用更換代理IP的方法獲得解決。

2.6數(shù)據(jù)存儲

網(wǎng)絡(luò)爬蟲需要爬取的數(shù)據(jù)量一般都十分龐大，且有些是結(jié)構(gòu)化數(shù)據(jù)，有些則為非結(jié)構(gòu)化數(shù)據(jù)，因此一個適合的數(shù)據(jù)庫就尤顯重要。在知乎用戶信息爬蟲項目中，獲取到的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)，并不適宜選擇MySQL等關(guān)系型數(shù)據(jù)庫，因而使用了MongoDB數(shù)據(jù)庫進行數(shù)據(jù)的存儲。

MongoDB 是一個基于分布式文件存儲的數(shù)據(jù)庫。在本網(wǎng)絡(luò)爬蟲中，研究僅定義了2個Key。一個為_id，存儲用戶信息的token_url；另一個為info，存儲用戶的基本信息。在Pipelines模塊中，定義了一個MongoDBPipeline類，可用作數(shù)據(jù)的存儲，數(shù)據(jù)的存儲則采用了MongoDB中的update方法。其中，upsert屬性需設(shè)置為True，該數(shù)據(jù)有則更新、無則插入。

3分布式網(wǎng)絡(luò)爬蟲的測試

3.1測試環(huán)境

本網(wǎng)絡(luò)爬蟲的測試環(huán)境基本信息可見表1。

3.2測試數(shù)據(jù)與分析

知乎分布式爬蟲運行1 h的測試結(jié)果可見表2。使用了3臺機器來測試分布式爬蟲，從數(shù)據(jù)中可以看到，爬蟲的爬取效率達到了預(yù)期的目標效果。

爬蟲的性能分析折線圖即如圖4所示。從圖4中看到，爬蟲的爬蟲效率波動仍然較大，究其原因就在于爬蟲測試的網(wǎng)絡(luò)環(huán)境不穩(wěn)定所致。如果還需提升爬取速度，可以增加分布式爬蟲的個數(shù)。

3.3URL去重策略比較測試分析

URL去重策略運行1 h的比較測試結(jié)果可見表3。由表3可以看出，使用BloomFilter算法比Scrapy默認去重（md5哈希后存入set）的去重效率得到了顯著的提升。因此在海量數(shù)據(jù)的爬取上，使用BloomFilter算法（布隆過濾器）最為適宜。

4結(jié)束語

本文探討了基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲的研究與實現(xiàn)。研究中，不僅論述了提高網(wǎng)絡(luò)爬蟲數(shù)據(jù)爬取效率的處理解決方法，而且提供了針對網(wǎng)站反爬蟲的應(yīng)對策略。最后，設(shè)計實現(xiàn)了一個知乎網(wǎng)用戶信息的分布式網(wǎng)絡(luò)爬蟲，并爬取得到了大量的數(shù)據(jù)。在后續(xù)研究中，還將深入研究如何借助數(shù)據(jù)分析手段對數(shù)據(jù)進行分析，獲取如知乎網(wǎng)用戶分布、男女分布、學(xué)歷分布等等信息，進一步地完善本爬蟲。

參考文獻

[1] 王巖. 搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展[J]. 電信快報， 2008（10）：20-22.

[2] Scrapy. Scrapy 1.5 documentation[EB/OL]. [2018]. https：//docs.scrapy.org/en/latest/.

[3] 陳利婷. 大數(shù)據(jù)時代的反爬蟲技術(shù)[J]. 電腦與信息技術(shù)，2016， 24（6）：60-61.

[4] ]Wikipedia.robots.txt詞條[EB/OL]. [2017-06-10]. https：//en.wikipedia.org/wiki/MediaWiki：Robots.txt.

[5] 張笑天. 分布式爬蟲應(yīng)用中布隆過濾器的研究[D]. 沈陽：沈陽工業(yè)大學(xué)， 2017.

[6] 朱嶸良. 分布式并行環(huán)境下的網(wǎng)絡(luò)爬蟲研究[D] . 北京：中央民族大學(xué)，2015.

[7] 孫立偉，何國輝，吳禮發(fā). 網(wǎng)絡(luò)爬蟲技術(shù)的研究[J]. 電腦知識與技術(shù)，2010，6（15）：4112-4115.

[8] 楊定中，趙剛，王泰. 網(wǎng)絡(luò)爬蟲在Web信息搜索與數(shù)據(jù)挖掘中應(yīng)用[J]. 計算機工程與設(shè)計. 2009，30（24）：5658-5662.

[9] 安子建. 基于Scrapy框架的網(wǎng)絡(luò)爬蟲實現(xiàn)與數(shù)據(jù)抓取分析[D]. 長春：吉林大學(xué)， 2017.

[10]趙本本，殷旭東，王偉. 基于Scrapy的GitHub數(shù)據(jù)爬蟲[J]. 電子技術(shù)與軟件工程，2016（6）： 199-202.