張喜紅

(亳州職業(yè)技術(shù)學(xué)院智能工程系，安徽亳州 236800)

0 引言

伴隨著大數(shù)據(jù)時(shí)代的快速到來，人們越來越傾向于借助數(shù)據(jù)揭示事物內(nèi)在規(guī)律，進(jìn)而指導(dǎo)決策[1-2].因此，如何利用大數(shù)據(jù)做好中藥材價(jià)格走勢的及時(shí)預(yù)測，為中藥材市場運(yùn)營決策提供支撐，促進(jìn)市場有序運(yùn)營，極具研究意義.目前對于價(jià)格推測、分析的方法主要有兩類，其一是基于影響價(jià)格變化因素采用特定的技術(shù)方法進(jìn)行推理；其二是基于歷史數(shù)據(jù)的推理法.因素法由于影響因子多維善變、因子權(quán)重難于確定等原因，難于建模；時(shí)間序列分析是一種基于歷史價(jià)格數(shù)據(jù)的變化規(guī)律預(yù)測未來價(jià)格走勢的方法，是當(dāng)前價(jià)格預(yù)測的主流方法之一.時(shí)間序列分析法實(shí)施的難點(diǎn)在于如何獲取足夠多且相對完整的歷史價(jià)格數(shù)據(jù)[3].

互聯(lián)網(wǎng)技術(shù)自誕生以來，在各行業(yè)得到了廣泛的應(yīng)用，互聯(lián)網(wǎng)在中醫(yī)、中藥領(lǐng)域的應(yīng)用也達(dá)到了前所未有的廣度，積累了相當(dāng)豐厚的網(wǎng)絡(luò)數(shù)據(jù)資源.如中藥材天地網(wǎng)就積累了相當(dāng)數(shù)量的中藥材價(jià)格信息，為時(shí)間序列分析法提供了強(qiáng)有力的數(shù)據(jù)支撐.然而，如何從網(wǎng)絡(luò)上快速、高效的收集這些數(shù)據(jù)，并將其整理為便于分析的結(jié)構(gòu)化數(shù)據(jù)，是極為關(guān)鍵的一步.網(wǎng)絡(luò)爬蟲是收集、提取網(wǎng)絡(luò)數(shù)據(jù)的主流技術(shù)手段[4-5].

基于上述背景，為了滿足基于時(shí)間序列分析法開展中藥材價(jià)格預(yù)測研究的數(shù)據(jù)需求，鑒于Python語言在爬蟲設(shè)計(jì)方面具有程序簡潔、資源豐富、便于實(shí)現(xiàn)等優(yōu)點(diǎn)，本文以中藥材天地網(wǎng)為目標(biāo)網(wǎng)站，基于Python語言設(shè)計(jì)了一款用于中藥材價(jià)格信息收集的網(wǎng)絡(luò)爬蟲，采用Requests模塊實(shí)現(xiàn)網(wǎng)頁的Http請求，采用Beautifulsoup實(shí)現(xiàn)了目標(biāo)信息的過濾、解析、提取，最終將目標(biāo)數(shù)據(jù)保存為便于分析的結(jié)構(gòu)化文本文件數(shù)據(jù)，同時(shí)就爬蟲的定時(shí)啟動(dòng)、抓取進(jìn)行了介紹.

1 爬蟲的原理分析

從互聯(lián)網(wǎng)獲取相關(guān)信息，最直接的方法是通過瀏覽器輸入U(xiǎn)RL向服務(wù)器發(fā)起Http請求，請求成功后服務(wù)器返回一個(gè)包含目標(biāo)網(wǎng)頁內(nèi)容的Response，經(jīng)瀏覽器解析后呈現(xiàn)給用戶.如果用戶想統(tǒng)計(jì)、收集某個(gè)網(wǎng)站成千上萬條的信息記錄條，若以瀏覽器人工訪問網(wǎng)頁的方式進(jìn)行，不僅效率低下且易出錯(cuò)[6].基于此，爬蟲的概念便誕生了，爬蟲通俗來講是一段實(shí)現(xiàn)自動(dòng)訪問網(wǎng)頁，并自動(dòng)定向提取網(wǎng)頁中目標(biāo)信息的程序.網(wǎng)絡(luò)爬蟲典型的工作流程大致包含如下幾個(gè)步驟：①模擬或自動(dòng)調(diào)用網(wǎng)頁瀏覽器發(fā)送請求并獲取網(wǎng)頁源碼；如在Python中可使用Request庫的相關(guān)方法向服務(wù)器發(fā)起模擬請求，待響應(yīng)成功后，將返回一個(gè)包含多種媒體格式的Response.②過濾、提取網(wǎng)頁源碼中包含的目標(biāo)信息；即從網(wǎng)頁源碼中通過XPath、正則表達(dá)式或Beautifulsoup等模塊的相應(yīng)方法，定位、提取目標(biāo)信息.③將提取的目標(biāo)信息存儲(chǔ)；保存形式多樣化，可以保存成文本，也可以保存至數(shù)據(jù)庫，或者保存成特定格式的文件.

2 中藥材價(jià)格信息爬蟲的設(shè)計(jì)與實(shí)現(xiàn)

2.1 目標(biāo)網(wǎng)頁的分析

中藥材天地網(wǎng)自建站以來，其市場價(jià)格欄目每天實(shí)時(shí)公布亳州、安國、玉林及荷花池4個(gè)藥市數(shù)百種中藥材的規(guī)格與價(jià)格信息，且其公布的中藥材價(jià)格數(shù)據(jù)真實(shí)可靠，為中藥材價(jià)格走勢的預(yù)測提供了真實(shí)、可靠的源數(shù)據(jù).在網(wǎng)頁瀏覽器中輸入藥材價(jià)格欄目的首頁URL地址：http://www.zyctd.com/jiage/1-0-0.html，可得到圖1所示的頁面，在頁面的價(jià)格信息區(qū)按品名、規(guī)格、市場、當(dāng)前價(jià)格等題頭逐行呈現(xiàn)中藥材的價(jià)格信息，且分多頁顯示，在頁面的底部給出了分頁鏈接信息.根據(jù)上述分析可知，在爬蟲的設(shè)計(jì)過程中，需要解決如下問題：①獲取各個(gè)分頁的URL鏈接地址；②提取各分頁信息記錄條的目標(biāo)信息.

2.2 目標(biāo)信息的獲取

如前面所述爬蟲要想從網(wǎng)頁中提取信息，首先需將網(wǎng)頁源碼下載到本地，網(wǎng)頁源碼的下載通過Http請求實(shí)現(xiàn)，Requests模塊是Python語言開發(fā)的Http庫，其功能強(qiáng)大，實(shí)現(xiàn)簡單[7-9].對于采用GET方式打開的網(wǎng)頁，可采用語句requests.get(“URL地址參數(shù)”).text方法模擬請求，得到網(wǎng)頁源后將其存儲(chǔ)為文本格式.同時(shí)BeautifulSoup是基于Python語言開發(fā)的一個(gè)用于解析html對象的第三方庫.對于結(jié)構(gòu)化網(wǎng)頁信息的提取，與正則表達(dá)式相比更具優(yōu)勢.其提供的find()與find_all()方法使信息定位、過濾、提取的實(shí)現(xiàn)更加簡單[10-13].同時(shí)考慮到中藥材天地網(wǎng)結(jié)構(gòu)規(guī)范，且要提取的目標(biāo)信息都是文本字段，最終決定采用Requests模塊進(jìn)行模擬Http請求下載目標(biāo)網(wǎng)頁源碼，采用BeautifulSoup模塊過濾、解析、提取目標(biāo)信息.

借助瀏覽器的審查元素工具，分析各頁中的源碼架構(gòu)，如圖2所示，每頁中的每條信息記錄條處于同一標(biāo)簽下，并以多個(gè)