依力·吐爾孫 艾孜爾古麗

摘要：本文主要研究中國菜譜里面的美食詞匯資源的爬取、構建、數(shù)據(jù)處理并對詞匯資源進行數(shù)據(jù)可視化分析。本文首先采用Python語言使用Scrapy框架進行數(shù)據(jù)爬取并對目標網(wǎng)站的網(wǎng)頁進行頁面分析，采集的是豆果美食網(wǎng)里最新發(fā)布的中國菜系菜譜，然后用Pandas、Numpy等庫進行清洗數(shù)據(jù)并做可視化分析。除此之外，用Pyecharts庫制作各大菜系菜品量的餅狀圖。最后通過Jieba庫進行中文分詞處理，篩選出高頻詞匯并制作了詞云圖。為了使乏味的文本數(shù)據(jù)散發(fā)活力，深入分析數(shù)據(jù)，以詞云圖展示數(shù)據(jù)分析的結果，增加數(shù)據(jù)可視化。

關鍵詞：美食詞匯;Python;網(wǎng)絡爬蟲;數(shù)據(jù)分析;詞云圖

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）10-0019-02

Abstract： This paper mainly studies the crawling， construction， data processing and data visualization analysis of Chinese cuisine vocabulary resources in Chinese recipes. In this paper， we first use Python language to Scrapy framework to crawl data and analyze the web pages of the target website. We collected the latest Chinese cuisine recipes from the Douguo Cuisine Network. Then we use libraries such as Pandas and Numpy to clean the data and do visual analysis. In addition， Pyecharts library is used to make pie charts of the quantity of dishes in each major cuisine. Finally， word segmentation is carried out through JIEBA library to screen out high-frequency words and make word cloud map. In order to make boring text data exude vitality， in-depth analysis of the data， the word cloud map to show the results of data analysis， increase data visualization.

Key words： food vocabulary; Python; Web crawler; Data analysis; Word cloud

非典、新冠肺炎等致命性疾病讓人們更加意識到健康飲食習慣的重要性。人工智能、大數(shù)據(jù)的發(fā)展對飲食詞匯數(shù)據(jù)的處理方面帶來了便利。不僅，計算語言學、統(tǒng)計學等交叉學科的發(fā)展使得處理飲食詞匯資源的數(shù)據(jù)引來了新思路和新角度，而且處理這些飲食數(shù)據(jù)資源促進了中國飲食文化、膳食結構、營養(yǎng)學、預防疾病學等學科方面的研究。

構建飲食詞匯資源并進行數(shù)據(jù)可視化對研究民俗飲食有著重要作用，這些數(shù)據(jù)有利于分析各地民俗飲食的結構。為進一步開展食物資源和增加菜譜品種方面的研究，對各個地方不同菜譜的原料及其用料使用情況、食品加工、飲食制作、飲食命名和飲食傳承有關的信息進行數(shù)據(jù)采集并對數(shù)據(jù)進行可視化研究是有必要的。

1 美食文本采集技術研究

1.1美食文本采集思路

隨著人工智能和大數(shù)據(jù)的發(fā)展，網(wǎng)絡上越來越大的數(shù)據(jù)量成為一種重要資源，如何從這些海量數(shù)據(jù)中快速有效的提取和分析有效數(shù)據(jù)并排除無效數(shù)據(jù)是信息處理技術的研究熱點。獲取網(wǎng)絡上有效數(shù)據(jù)的方法是網(wǎng)絡爬蟲技術。實現(xiàn)Web爬蟲技術，編寫好網(wǎng)站爬蟲的關鍵是利用更高效的爬蟲工具和爬蟲框架。于是Python語言提供了很多方便的爬蟲框架。Scrapy是基于Python開發(fā)的一個高層次的快速的網(wǎng)頁抓取框架，用于抓取Web站點信息并從頁面中提取結構化的數(shù)據(jù)[1]。因此本文完成網(wǎng)站的數(shù)據(jù)提取任務時便用到了Scrapy框架。文中采用了Scrapy框架來對數(shù)據(jù)進行提取，爬取的對象是豆果美食網(wǎng)站菜式菜系的中國菜。

在進行爬取豆果美食網(wǎng)站數(shù)據(jù)之前，為了編寫好代碼的邏輯并更有效地提取該網(wǎng)站數(shù)據(jù)，應該要弄明白并且分析美食網(wǎng)站的域名結構和層次。分析研究的網(wǎng)站，其URL鏈接結構以主域名為中心?[2]，主域名下分有豆果美食網(wǎng)站的首頁、菜式菜系、中國菜等子域名，也就是導航部分。在子域名下是更詳細的各種菜系URL信息。此網(wǎng)站的結構進行分析就能提取菜系菜品所有URL，但是會回到首頁，因此進行URL的去重，建立環(huán)路。

該文爬取豆果美食網(wǎng)站菜式菜系里的所有中國菜系的菜品，獲取的內(nèi)容包括菜譜鏈接、菜譜、用戶、用料、圖片、評分、菜系。通過對網(wǎng)站頁面的分析。通過美食網(wǎng)站的最新菜系頁面提取全部菜譜數(shù)據(jù)代碼，而不需要爬取所有URL。通過“最新菜系”網(wǎng)站獲取全部菜譜的策略是對比頁面跳轉(zhuǎn)URL的變化，因此可以通過對數(shù)字的遞增而得到所有數(shù)據(jù)。

1.2美食網(wǎng)站環(huán)境分析及采集

1.2.1美食網(wǎng)站頁面分析

想要得到爬取規(guī)則和相應的代碼信息，首先需要對美食網(wǎng)站內(nèi)容進行結構分析。因此，進入豆果美食網(wǎng)，打開全部分類，找到菜式菜系目錄下的中國菜。本次需要爬取的內(nèi)容是中國菜下的蘇菜、新疆菜、東北菜等十五個中國菜系。這里面有效處理提取的數(shù)據(jù)是各大菜系中的菜譜名，菜譜鏈接、圖片、評分、用戶名、用料、菜系。打開Chrome瀏覽器進入豆果美食網(wǎng)站后，查看全部分類找到對應的菜系，按F12鍵就能看到頁面的布局和源代碼信息。查看并分析這些中國菜的菜系標題都包含了屬性為class的