劉嘯宇 劉茜希 高英男

《義務(wù)教育課程方案（2022 年版）》明確要求：各門課程用不少于10% 的課時設(shè)計跨學科主題學習，強化課程協(xié)同育人功能；推進綜合學習，探索大單元教學，開展主題化、項目式學習等綜合性教學活動[1]?？鐚W科主題學習是指為培養(yǎng)跨學科素養(yǎng)而整合兩種及以上學科內(nèi)容，開展學習的主題教學活動安排，具有綜合性、實踐性、探究性、開放性、操作性等特點[2]。項目式學習是一種動態(tài)的學習方法，通過讓學生主動探索現(xiàn)實世界的問題和挑戰(zhàn)，從中領(lǐng)會更深刻的知識和技能[3]。

“詩言志，歌永言，聲依永，律和聲”，詩詞歌賦作為中華民族的傳統(tǒng)文化，可以反映不同時代的人文社會風貌，也是語文學科重要的學習內(nèi)容之一。在人工智能自然語言處理中，詩詞創(chuàng)作一直是重要的研究方向，也是構(gòu)建數(shù)字人文的重要部分。筆者嘗試將信息科技中“計算思維”的培養(yǎng)與語文學科中的“文化自信”“審美創(chuàng)造”培養(yǎng)相融合，以人工智能大模型對宋詞語料的微調(diào)為基礎(chǔ)，設(shè)計并實施跨學科學習主題。

課程設(shè)計

課程設(shè)計中的人工智能主線

2017 年，谷歌研究人員提出的Transformer 架構(gòu)是一種完全基于注意力機制的神經(jīng)網(wǎng)絡(luò)模型，具有更強的知識遷移能力?；谠摷軜?gòu)的大語言模型（LLM）得到了飛速發(fā)展，其中，大模型微調(diào)技術(shù)起到了非常重要的作用。其過程首先要有一個在大規(guī)模語料庫上采用超十億參數(shù)的學習算法，使用龐大的算力訓(xùn)練得到的通用模型；然后將其作為預(yù)訓(xùn)練模型在較小的特定數(shù)據(jù)集上進行訓(xùn)練，從而精煉模型的能力，得到一個在特定任務(wù)或領(lǐng)域上性能較佳的專用模型。

“大模型微調(diào)”范式正在成為一類解決問題的重要方法。比如醫(yī)療行業(yè)希望有一個可以幫助醫(yī)生生成患者醫(yī)療報告的模型，可將GPT-3 作為預(yù)訓(xùn)練模型，然后投入包含醫(yī)療報告和患者筆記的數(shù)據(jù)集，進行模型微調(diào)，就可以得到一個專用模型。大模型微調(diào)范式作為計算思維中一個重要的思維模式，具有教學價值。本文選擇了一系列在“魔搭”社區(qū)開放的中文預(yù)訓(xùn)練模型，針對《全宋詞》文本語料進行模型微調(diào)，并以此作為單元學習項目完成跨學科學習，項目背后可以遷移使用的學習范式如圖1 所示。

課程目標

通過調(diào)用中文古詩模型進行詩歌生成，了解語言模型的基本原理；在微調(diào)宋詞生成模型的過程中，掌握對大模型進行微調(diào)的方法；在微調(diào)不同派別宋詞生成模型的過程中，感受不同派別宋詞的獨特魅力；知道采用不同的詞語可以表達不同的主題意境，感悟詞語對于表達文本意境的重要作用。

課程內(nèi)容

本單元課程以掌握大語言模型微調(diào)的方法作為人工智能邏輯主線，并圍繞詩詞進行跨學科學習主題設(shè)計。課程依照問題分析、方案設(shè)計、實施驗證、優(yōu)化迭代4 個階段進行任務(wù)設(shè)計，課時安排如圖2 所示。第1 課時主要鋪墊學習情境，探索大語言模型的原理，并形成初步解決方案；第2、3 課時主要根據(jù)方案準備數(shù)據(jù)，完成模型微調(diào)，體會大語言模型微調(diào)范式的價值；第4 課時主要針對當前模型的性能，修訂方案完成模型優(yōu)化，最后嘗試在完成模型的基礎(chǔ)上探索中文領(lǐng)域詞語對于文學作品中思想表達的重要作用。

教學實施過程

實驗 1. 調(diào)用預(yù)訓(xùn)練模型進行古詩續(xù)寫

本實驗屬于第1 課時任務(wù)2。教師將提供2 個預(yù)訓(xùn)練模型和供學生完成實驗的notebook 學習文檔。在學習文檔的幫助下，學生將學習如何調(diào)用預(yù)訓(xùn)練模型進行文字續(xù)寫；然后學生將根據(jù)“通用中文生成模型”和“中文古詩生成模型”的詳細說明，自定義相關(guān)參數(shù)及待續(xù)寫文本，完成相應(yīng)續(xù)寫任務(wù)；最后通過對比續(xù)寫結(jié)果，記錄不同模型針對特定體裁文本的生成效果。調(diào)用2 個不同預(yù)訓(xùn)練模型續(xù)寫相同內(nèi)容的示例，如圖3 所示。

設(shè)計意圖：通過預(yù)訓(xùn)練模型續(xù)寫文本，理解大語言模型的基本原理，掌握調(diào)用預(yù)訓(xùn)練模型進行生成的方法；通過不同體裁生成內(nèi)容的對比，理解基于特定數(shù)據(jù)集對模型微調(diào)訓(xùn)練后產(chǎn)生的差異，為后續(xù)深入應(yīng)用模型微調(diào)范式解決問題作鋪墊。

實驗 2. 針對宋詞數(shù)據(jù)集進行模型微調(diào)

本實驗不對應(yīng)某項具體任務(wù)，而是貫穿在課時2、3、4 中。在該實驗中，教師提供了“中文古詩生成模型”作為預(yù)訓(xùn)練模型，為完成相關(guān)大模型微調(diào)的知識學習與任務(wù)探究，教師還準備了“全宋詞數(shù)據(jù)集”“婉約派風格宋詞數(shù)據(jù)集”“豪放派風格宋詞數(shù)據(jù)集”等多類宋詞數(shù)據(jù)集。

本部分包含4 個小實驗，分別為“基于宋詞數(shù)據(jù)進行模型微調(diào)”（課時2）、“基于婉約派宋詞進行模型微調(diào)”（課時3）、“基于豪放派宋詞進行模型微調(diào)”（課時3）、“探究模型生成情況并優(yōu)化模型”（課時4），實驗步驟詳見于相應(yīng)的notebook 學習文檔。

以“基于宋詞數(shù)據(jù)進行模型微調(diào)”為例，學生將完成加載預(yù)訓(xùn)練模型，加載、觀察并初步處理數(shù)據(jù)，構(gòu)建微調(diào)模型并完成訓(xùn)練，調(diào)用模型進行宋詞續(xù)寫等過程。在最后的優(yōu)化模型實驗任務(wù)中，教師將引導(dǎo)學生從訓(xùn)練輪次、學習率等超參數(shù)層面對模型進行優(yōu)化，并對比生成結(jié)果。

設(shè)計意圖：借助微調(diào)宋詞生成模型，理解在預(yù)訓(xùn)練模型基礎(chǔ)上進行模型微調(diào)的方法，感知這個范式的價值；通過微調(diào)模型生成宋詞，感受宋詞的魅力。

學習成果

本部分學生調(diào)用自己微調(diào)的模型進行宋詞作品續(xù)寫，相關(guān)詞文如圖4 所示。

反思與提高

為學生提供清晰的任務(wù)，以及實現(xiàn)任務(wù)的資源、工具、腳手架

本單元以大模型微調(diào)為核心的人工智能知識線進行設(shè)計，選擇學生十分熟悉的詩詞領(lǐng)域進行探究。由于詩的每句文本字數(shù)十分整齊，而詞的每句文本字數(shù)各有差異，因此，從生成詩到生成詞的變化有助于學生理解模型微調(diào)后生成內(nèi)容的改變。但是因課時、算力等限制，課堂中學生的訓(xùn)練輪次等超參數(shù)設(shè)置較小，微調(diào)后的模型性能不是很強。對比圖3、圖4 的作品可以看出，微調(diào)后模型生成的內(nèi)容可讀性比預(yù)訓(xùn)練模型生成內(nèi)容的可讀性差。本單元在后續(xù)實施過程中，開始引入GPU 算力，讓學生可以訓(xùn)練效果相對更好的模型。同時，作為一個跨學科單元，本單元對詩詞方面的探索較為薄弱，因此在后續(xù)實施過程中加入了“詞語對宋詞意境表達的作用”這一任務(wù)，便于學生借助人工智能提升語文學科的核心素養(yǎng)。

參考文獻

[1] 中華人民共和國教育部. 教育部關(guān)于印發(fā)義務(wù)教育課程方案和課程標準（2022 年版） 的通知[EB/OL]. http：//www.moe.gov.cn/srcsite/A26/s8001/202204/t20220420_619921.html.

[2] 吳剛平. 跨學科主題學習的意義與設(shè)計思路[J]. 課程·教材·教法，2022，42（9）：53-55.

[3] 孫思佳. 項目式學習研究的文獻述評[J]. 科教文匯，2019（7）：3.