關(guān)鍵詞：網(wǎng)絡(luò)爬蟲；知識圖譜；思政教育；項目化教學(xué)；教學(xué)改革

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）26-0177-04開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID） ：

0 引言

隨著信息技術(shù)的蓬勃發(fā)展，數(shù)據(jù)的規(guī)模、類型和價值日漸攀升，傳統(tǒng)信息技術(shù)已經(jīng)難以滿足海量化數(shù)據(jù)的處理需求了，數(shù)據(jù)處理技術(shù) （Data Technology，DT） 的重要性已經(jīng)愈發(fā)凸顯。在DT時代已經(jīng)來臨的大背景下，針對新時代新工科人才的培養(yǎng)需求，各大高校都在開展著大數(shù)據(jù)技術(shù)相關(guān)的教學(xué)改革。文獻(xiàn)[1]將基于問題式學(xué)習(xí)的方式應(yīng)用到大數(shù)據(jù)系列課程中，提升學(xué)生對于大數(shù)據(jù)技術(shù)學(xué)習(xí)的主人翁意識；文獻(xiàn)[2]以翻轉(zhuǎn)課堂教學(xué)為基礎(chǔ)，為大數(shù)據(jù)分析課程教學(xué)融入項目化教學(xué)理念，豐富課堂師生互動；文獻(xiàn)[3]利用OBE 理念對“大數(shù)據(jù)分析與建?！闭n程進(jìn)行了教學(xué)改革，克服了該課程教學(xué)目標(biāo)不準(zhǔn)確、教學(xué)評價單一化的局限性。

作為實(shí)現(xiàn)大數(shù)據(jù)處理技術(shù)的前置關(guān)鍵技術(shù)，網(wǎng)絡(luò)爬蟲通過模擬瀏覽器發(fā)送請求，并按照一定的規(guī)則自動抓取互聯(lián)網(wǎng)上的海量信息，為大數(shù)據(jù)分析提供多樣化素材。網(wǎng)絡(luò)爬蟲課程學(xué)習(xí)過程中，學(xué)生也會接觸到諸如HTML、CSS等廣泛應(yīng)用在大數(shù)據(jù)分析中的技術(shù)，網(wǎng)絡(luò)爬蟲也同樣有利于學(xué)生理解DT的生態(tài)系統(tǒng)。

項目化教學(xué)強(qiáng)調(diào)學(xué)生的主體地位和自主學(xué)習(xí)，通過實(shí)踐與反饋提升學(xué)生的學(xué)習(xí)成效。組織方式是教師通過將實(shí)際企業(yè)項目簡化凝練為教學(xué)項目，學(xué)生運(yùn)用跨領(lǐng)域知識自主設(shè)計、實(shí)施和評價一個具有挑戰(zhàn)性的項目，從中深刻理解專業(yè)知識和技能。相關(guān)文獻(xiàn)表明：由于教學(xué)項目大多是從企業(yè)實(shí)踐中脫離出來，還是存在項目內(nèi)容空洞以及知識片面斷層等局限性，削弱了學(xué)生融會貫通、舉一反三的能力[4-5]。疫情過后，線上線下的混合教學(xué)模式興起，項目化教學(xué)這種學(xué)習(xí)自主化、個性化的課程模式越發(fā)受到各大高校的青睞。網(wǎng)絡(luò)爬蟲作為大數(shù)據(jù)系列課程的專業(yè)核心，其知識圖譜也鏈接了先行課與后續(xù)課程的知識體系。因此，本文以知識圖譜為依托，以融入思政元素的項目式教學(xué)為驅(qū)動，對網(wǎng)絡(luò)爬蟲課程進(jìn)行教學(xué)改革探討。

1 網(wǎng)絡(luò)爬蟲教學(xué)現(xiàn)狀分析

1.1 傳統(tǒng)思政教育難以貼合網(wǎng)絡(luò)爬蟲教學(xué)

傳統(tǒng)思政教育通過弘揚(yáng)民族精神、傳播傳統(tǒng)文化、宣揚(yáng)文化自信的手段進(jìn)行開展[6]。作為一門新興的DT技術(shù)課程，強(qiáng)行融入以往的思政案例會令課堂顯得異常沉悶，致使學(xué)生課堂參與度低[7]。不僅如此，傳統(tǒng)思政課程的內(nèi)容還缺少時代感，亟須信息化手段將重要會議精神融入思政課程設(shè)計中，同時建立敏感信息數(shù)據(jù)安全保護(hù)意識以及網(wǎng)絡(luò)爬蟲的使用道德和法律意識。

思政課程教育相關(guān)的師資水平還有待提升，專業(yè)的思政教師缺少對網(wǎng)絡(luò)爬蟲課程的學(xué)科背景了解，無法勝任思政課程的教學(xué)任務(wù)；而專業(yè)課的任課教師又對思政教育理解不到位，難以開展兼具深度和廣度的思政教育[8]。教師需要通過啟發(fā)式、思政案例等方式鼓勵學(xué)生自主管理，培養(yǎng)其對網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)用的自我約束能力。

網(wǎng)絡(luò)爬蟲思政課程的評價體系也不夠健全，評價維度過于集中在考試成績，而沒有涵蓋對學(xué)生思想品德、價值觀上的評價。更重要的是，當(dāng)前課程思政缺少學(xué)生反饋以及教師反思，未形成完整的思政教育體系閉環(huán)。

1.2 傳統(tǒng)紙質(zhì)教材無法適應(yīng)學(xué)習(xí)需求

網(wǎng)絡(luò)爬蟲等DT應(yīng)用技術(shù)迭代更新速度快，加之各大電商、視頻等網(wǎng)站的頻繁維護(hù)更新，而紙質(zhì)教材由于出版和印刷的周期較長，原有的一些案例代碼在爬取數(shù)據(jù)網(wǎng)站（京東、bilibili） 更新網(wǎng)絡(luò)結(jié)構(gòu)后不一定能適用，導(dǎo)致學(xué)生對于教材案例無法復(fù)現(xiàn)，進(jìn)一步挫傷了學(xué)生的學(xué)習(xí)積極性。

傳統(tǒng)紙質(zhì)教材更新周期長，內(nèi)容缺乏前沿性，更加注重基礎(chǔ)語法知識點(diǎn)的講解，受限于篇幅難以提供足夠的實(shí)驗(yàn)操作指導(dǎo)，并且紙質(zhì)教材這種單向信息傳遞的授課方式缺少互動性與反饋機(jī)制，對于學(xué)生在自學(xué)過程中遇到疑惑時無法及時反饋。

1.3 理論與實(shí)踐應(yīng)用知識難以協(xié)調(diào)

網(wǎng)絡(luò)爬蟲課程安排的課時相對有限，大多數(shù)高等院校又采用理論實(shí)踐一體化的授課方式進(jìn)行講解，而無論是理論實(shí)踐各占一半，或偏重理論課時高占比，都難以讓學(xué)生完全掌握理論知識點(diǎn)與實(shí)踐案例。其原因一方面在于學(xué)生的個體差異化比較大，一些學(xué)生的編程能力與數(shù)據(jù)處理能力較強(qiáng)，可以快速掌握理論知識點(diǎn)并完成課堂練習(xí)任務(wù)，而另一些技術(shù)相對薄弱的同學(xué)則需要更多的指導(dǎo)與幫助；另一方面，教師展示的網(wǎng)絡(luò)爬蟲案例都是經(jīng)典的案例，缺乏對內(nèi)在邏輯的講解，造成學(xué)生雖能復(fù)現(xiàn)卻不知其所以然，學(xué)生自身并未形成解決問題的思路，脫離課堂后遇到問題仍然不知所措。

2 融合思政元素與知識圖譜的網(wǎng)絡(luò)爬蟲項目式教學(xué)體系

為實(shí)現(xiàn)提升學(xué)生綜合能力和數(shù)據(jù)處理、編程技能培養(yǎng)的課程目標(biāo)，強(qiáng)化學(xué)生的創(chuàng)新能力和職業(yè)道德情操，培養(yǎng)大數(shù)據(jù)行業(yè)新時代的四有型人才，設(shè)計了如圖1所示的網(wǎng)絡(luò)爬蟲的項目式教學(xué)體系。項目化教學(xué)的方式是基于問題式的教學(xué)形式開展，其理論來自建構(gòu)主義，強(qiáng)調(diào)以學(xué)生為中心，教師從灌輸者變?yōu)閷W(xué)生主動建構(gòu)主義的幫助者。項目化教學(xué)的成功實(shí)踐很大程度依賴知識引導(dǎo)地圖和項目導(dǎo)航樹的構(gòu)建，知識圖譜通過圖的結(jié)構(gòu)可以表達(dá)網(wǎng)絡(luò)爬蟲課程中服務(wù)器、瀏覽器和請求等實(shí)體、事件等概念，并對海量數(shù)據(jù)進(jìn)行有序管理。教學(xué)項目任務(wù)均具有一定的梯度，項目導(dǎo)航樹則需要將教學(xué)項目任務(wù)與知識圖譜進(jìn)行任務(wù)知識點(diǎn)映射后生成。

當(dāng)課堂教學(xué)目標(biāo)設(shè)定完成后，進(jìn)入當(dāng)前課堂的理論教學(xué)環(huán)節(jié)，教師將碎片化的知識點(diǎn)梳理、關(guān)聯(lián)后，學(xué)生再結(jié)合項目案例進(jìn)行具體學(xué)習(xí)和分析。因此，相比傳統(tǒng)紙質(zhì)教材，這將更有助于學(xué)生在構(gòu)建網(wǎng)絡(luò)爬蟲的請求、解析和數(shù)據(jù)保存等知識點(diǎn)的學(xué)習(xí)路線。按照項目導(dǎo)航樹索引邏輯知識結(jié)構(gòu)對應(yīng)的相關(guān)知識點(diǎn)，再將知識點(diǎn)對應(yīng)的項目任務(wù)按照實(shí)訓(xùn)進(jìn)度分派給項目成員。

項目式教學(xué)體系要求爬蟲項目完成后，小組成員先對項目完成情況按照一定標(biāo)準(zhǔn)進(jìn)行自評后，再將網(wǎng)絡(luò)爬蟲項目實(shí)戰(zhàn)結(jié)果以可視化的形式分享給其他項目組成員進(jìn)行互評打分。長此以往，課程就分解成若干個網(wǎng)絡(luò)爬蟲小項目，每個小項目的最終評分都會影響學(xué)生的過程性評價，教師結(jié)合最終期末考核成績評定學(xué)生在網(wǎng)絡(luò)爬蟲課程的最終成績。

3 融合思政與知識圖譜的網(wǎng)絡(luò)爬蟲項目式教學(xué)模式實(shí)踐

網(wǎng)絡(luò)爬蟲課程是佛山職業(yè)技術(shù)學(xué)院人工智能、計算機(jī)應(yīng)用技術(shù)、大數(shù)據(jù)技術(shù)等專業(yè)開設(shè)的專業(yè)核心課程，采用的是理論實(shí)踐一體化教學(xué)的授課模式，編程語言為Python語言環(huán)境。Python程序設(shè)計、HTML網(wǎng)頁設(shè)計是該課程的先修課程。結(jié)合上述教學(xué)體系，課程組對網(wǎng)絡(luò)爬蟲課程開展了新教學(xué)模式的實(shí)踐。

3.1 知識圖譜構(gòu)建

網(wǎng)絡(luò)爬蟲的知識圖譜數(shù)據(jù)來源主要來源于課程項目庫以及開源的網(wǎng)絡(luò)爬蟲知識圖譜，其中數(shù)據(jù)存在的形式比較多樣化，且具有一定的異構(gòu)性[9-10]。如圖2 所示，對于圖片、JSON等半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)需要通過“實(shí)體-關(guān)系-屬性”抽取一些關(guān)鍵性的信息，并做結(jié)構(gòu)化轉(zhuǎn)化。從原始數(shù)據(jù)中獲取到了實(shí)體、關(guān)系以及實(shí)體的屬性信息后，將異構(gòu)化數(shù)據(jù)提取的信息一并做知識融合，即過濾冗雜/錯誤的數(shù)據(jù)并進(jìn)行數(shù)據(jù)邏輯歸屬。最后再通過本體構(gòu)建、知識推理、質(zhì)量評估和知識更新等過程構(gòu)建網(wǎng)絡(luò)爬蟲課程的知識圖譜。

網(wǎng)絡(luò)爬蟲知識圖譜可以幫助學(xué)生更加自主地構(gòu)建課程學(xué)習(xí)路徑。網(wǎng)絡(luò)爬蟲技術(shù)由數(shù)據(jù)爬取、數(shù)據(jù)解析、數(shù)據(jù)存儲的技術(shù)路線構(gòu)成，先在不同的技術(shù)中識別出相應(yīng)的知識點(diǎn)，譬如HTML、JSON格式數(shù)據(jù)解析的方式；而后，建立技術(shù)之間的關(guān)聯(lián)性，例如學(xué)生需要在掌握爬取網(wǎng)頁數(shù)據(jù)的requests庫后，方可深入學(xué)習(xí)解析數(shù)據(jù)的BS4庫。借助網(wǎng)絡(luò)爬蟲知識圖譜還可以豐富課堂任務(wù)設(shè)置環(huán)節(jié)，鼓勵學(xué)生采用正則表達(dá)式、bs4等不同的解析技術(shù)對相同的網(wǎng)頁結(jié)構(gòu)數(shù)據(jù)進(jìn)行解析，并分析解析數(shù)據(jù)過程的異同，從而幫助學(xué)生深入理解技術(shù)對應(yīng)的知識點(diǎn)內(nèi)涵。

3.2 思政元素融入

將思政元素融入網(wǎng)絡(luò)爬蟲課程不僅有利于加深學(xué)生對爬蟲技術(shù)的認(rèn)識，也能幫助樹立正確的理想價值觀，而專業(yè)課程的思政元素需要與專業(yè)知識點(diǎn)進(jìn)行關(guān)聯(lián)才能發(fā)揮最大的效力。因此，首先需要對課程教學(xué)大綱的內(nèi)容進(jìn)行思政元素的融入，融入思政的網(wǎng)絡(luò)爬蟲課程規(guī)劃如表1所示。

以網(wǎng)絡(luò)爬蟲的用途這一章節(jié)為例，在設(shè)計思政課程時，以培養(yǎng)學(xué)生網(wǎng)絡(luò)安全與法律意識為德育目標(biāo)，將利用爬蟲技術(shù)非法收集個人隱私信息或者提供未經(jīng)授權(quán)的數(shù)據(jù)等違法行為作為思政要點(diǎn)。以此說明網(wǎng)絡(luò)爬蟲程序的合法性，警示學(xué)生個人隱私數(shù)據(jù)或者明確禁止訪問的數(shù)據(jù)不能爬取，更不能用于商業(yè)用途，否則會引起民事糾紛，甚至嚴(yán)重的將面臨法律懲罰。

另以反爬蟲策略這一知識點(diǎn)為例，網(wǎng)站常用的反爬蟲技術(shù)包括通過Headers、用戶行為來識別爬蟲，以及采用動態(tài)加載數(shù)據(jù)來反爬蟲。網(wǎng)站也提供了Ro?bots協(xié)議，告訴爬蟲程序開發(fā)者怎樣的信息不能抓取，否則可能會違反法律。在思政課程設(shè)計時，以培養(yǎng)數(shù)據(jù)安全意識為目標(biāo)，提供因違規(guī)破解反爬蟲策略而被判刑的案例素材，并予以警示。

3.3 項目驅(qū)動

網(wǎng)絡(luò)爬蟲課程在教學(xué)開展過程中以項目化的形式進(jìn)行實(shí)踐，項目包括不限于課程項目、企業(yè)項目、大學(xué)生創(chuàng)新創(chuàng)業(yè)項目等。將知識圖譜中所涉及的網(wǎng)絡(luò)爬蟲知識點(diǎn)按照任務(wù)知識點(diǎn)映射關(guān)系，分別歸屬到相應(yīng)的項目中，得到如圖3所示的網(wǎng)絡(luò)爬蟲課程項目設(shè)計示意圖。項目按照由淺入深的順序開展，有道在線翻譯通過介紹requests庫讓學(xué)生理解爬蟲請求的基本構(gòu)成部分，豆瓣Top250、京東商城和Q房租房項目側(cè)重對爬取數(shù)據(jù)、解析數(shù)據(jù)和儲存數(shù)據(jù)的知識鞏固，中國知網(wǎng)項目則鍛煉學(xué)生采用selenium模擬瀏覽器動態(tài)爬取網(wǎng)頁數(shù)據(jù)。各項目實(shí)踐環(huán)節(jié)都可以培養(yǎng)學(xué)生運(yùn)用爬蟲工具解決實(shí)際問題的能力以及團(tuán)隊協(xié)作能力，幫助學(xué)生形成大數(shù)據(jù)思維處理技術(shù)的知識體系。

網(wǎng)絡(luò)爬蟲課程引入了“傳幫帶”方式進(jìn)一步優(yōu)化了傳統(tǒng)項目化教學(xué)。首先，所謂“傳”即為從教師傳授給學(xué)生的基于問題式學(xué)習(xí)的教學(xué)方式，針對項目中的關(guān)鍵要點(diǎn)拋出問題，并進(jìn)行知識點(diǎn)解析，對關(guān)鍵過程進(jìn)行操作演示后，檢查學(xué)生是否可以對關(guān)鍵項目任務(wù)進(jìn)行復(fù)現(xiàn)；其次，所謂“幫”則是鼓勵項目完成時間早的小組幫扶項目完成有困難的小組，并以交互式討論將項目經(jīng)驗(yàn)分享，采用平時分加分的形式激勵參與組間幫扶的同學(xué)；最后，“帶”是項目組內(nèi)分析各個項目任務(wù)環(huán)節(jié)，分析項目瓶頸，并由項目組長牽頭協(xié)助瓶頸環(huán)節(jié)的攻克，確保爬蟲項目程序能按時完成拉通，縮短項目完成周期。

鑒于課程學(xué)時有限以及學(xué)生能力差異化明顯的現(xiàn)狀，課程教學(xué)中采用“線上線下混合”的方式，依托超星學(xué)習(xí)通、學(xué)銀在線等工具實(shí)現(xiàn)練習(xí)發(fā)布、課后問題討論、考勤統(tǒng)計等。學(xué)生可以通過校內(nèi)云平臺將撰寫的項目實(shí)訓(xùn)報告提交，實(shí)現(xiàn)師生的良性互動。

4 教學(xué)實(shí)踐效果

網(wǎng)絡(luò)爬蟲課程在采用融合思政元素與知識圖譜的項目化驅(qū)動教學(xué)后，專任教師在超星學(xué)習(xí)通平臺上迭代優(yōu)化教學(xué)資源，目前在線課程包含了24個教學(xué)課件，134個知識任務(wù)點(diǎn)，29個實(shí)訓(xùn)項目等涵蓋思政理論的案例資源，受益的學(xué)生有將近500余人。

通過項目化教學(xué)，學(xué)生以團(tuán)隊的形式全程參與從需求分析、技術(shù)選型、代碼編寫到結(jié)果展示的網(wǎng)頁爬蟲項目開發(fā)，既培養(yǎng)了學(xué)生團(tuán)隊協(xié)作精神和創(chuàng)新能力，也激發(fā)了學(xué)生參加藍(lán)橋杯、“互聯(lián)網(wǎng)+”等競賽的積極性。知識圖譜化的網(wǎng)絡(luò)爬蟲教學(xué)資源強(qiáng)化了學(xué)生對專業(yè)技能學(xué)習(xí)的系統(tǒng)性，進(jìn)而輔助學(xué)生自主解決問題，提升其學(xué)習(xí)主動性。在教學(xué)改革方面，專任教師主持教改課題以及發(fā)表教改論文的數(shù)量也保持增長。

5 結(jié)束語

網(wǎng)絡(luò)爬蟲技術(shù)作為DT時代的一項重要技術(shù)，是大數(shù)據(jù)相關(guān)專業(yè)的核心課程，本文建立了融合思政元素與知識圖譜的項目化教學(xué)實(shí)踐體系。首先，將網(wǎng)絡(luò)爬蟲領(lǐng)域的知識點(diǎn)整合處理為知識圖譜；其次，對關(guān)聯(lián)知識點(diǎn)嵌入思政元素，最后，將知識點(diǎn)以項目化形式開展教學(xué)實(shí)踐，以期培養(yǎng)學(xué)生端正的職業(yè)素養(yǎng)和正確的價值觀。本文提出的教學(xué)體系為學(xué)生參與企業(yè)真實(shí)項目開發(fā)提供良好的平臺，對大數(shù)據(jù)系列課程思政以及實(shí)踐教學(xué)具有一定的示范作用。