魏小東 習鵬飛

基金項目：2020 年度國家自然科學基金項目“基于虛擬化身的光學透射式AR 學習環(huán)境教學代理研究”（項目編號：62067009）

[摘? ?要] 隨著大語言模型技術在多個方面不斷取得突破，大語言模型驅(qū)動的虛擬數(shù)字人輔助第二語言學習能夠顯著提升第二語言學習者的學習體驗和學習效率。文章通過文獻梳理總結(jié)了虛擬數(shù)字人在構建第二語言學習環(huán)境、生成第二語言學習資源、模擬第二語言交流對象和提供第二語言學習路徑方面的作用，梳理了大語言模型和虛擬數(shù)字人存在的生成內(nèi)容偏差、語用情感缺失、學習反饋不當和應用成本過高的問題，提出了人機協(xié)同內(nèi)容生成構建可信學習資源、角色場景融合實現(xiàn)多元反饋方式、實時學習行為分析支持情感表達和整合通用設備接口促進教育應用普及的虛擬數(shù)字人第二語言教育應用策略，并通過案例開發(fā)與實施驗證了應用策略的有效性，以期為我國第二語言教育在數(shù)字時代的可持續(xù)發(fā)展提供路徑選擇。

[關鍵詞] 大語言模型； 虛擬數(shù)字人； 第二語言教育； 生成式人工智能； 教育應用

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 魏小東（1984—），男，甘肅蘭州人。 教授，博士， 主要從事虛擬與增強現(xiàn)實學習環(huán)境研究。 E-mail： wxd1633@163.com。

一、引? ?言

學習第二語言不僅是學習新語言形式和特征的過程，更是一個逐漸構建新思維模式、新概念結(jié)構的過程，能夠改變學習者原有的思維方式和概念結(jié)構，提升對事物的認知水平。同時，多語言學習有助于提升跨文化交流能力，使學習者能更好地理解和欣賞不同的文化背景，從而促進國際視野和開放性思維的形成。此外，掌握第二語言還能增加職業(yè)競爭力，為職業(yè)發(fā)展開辟更廣闊的道路。在社交方面，能夠使用多種語言的人通常更容易建立多元化的人際關系網(wǎng)絡?？傮w而言，學習第二語言不僅是語言能力的提升，更是個人全面發(fā)展的重要途徑，有助于形成更加多元、全面的個人能力和視野。然而，由于語法、語音和文化差異，掌握第二語言是一項具有挑戰(zhàn)性的工作。虛擬數(shù)字人擁有類人的外觀和行為，具備類人的語言能力，可以為第二語言學習者提供高臨場感和沉浸感的學習體驗。學習者用第二語言與虛擬數(shù)字人交流，可以獲得第二語言習得性認知。

大語言模型以其強大的自然語言處理能力，不僅能生成和理解文本，還能進行復雜的分析和推理。大語言模型在海量信息的全量在線記憶、任意任務的對話式理解、復雜邏輯的思維鏈推理、多角色多風格長文本生成等多個方面取得了重大突破，可以為第二語言的口語、寫作、聽力和閱讀技能訓練提供豐富的語料支持和智能對話服務[1]。大語言模型的應用使得虛擬數(shù)字人不僅可以在外觀上接近于真人，而且也可使其行為、語言、表情的交互性和智能性接近于真人。虛擬數(shù)字人已成功進入大眾視野，并在教育領域的不同場景中廣泛應用，展現(xiàn)出多樣化的表現(xiàn)形式，如虛擬教師、虛擬導游和虛擬學伴等。

本研究總結(jié)了大語言模型和虛擬數(shù)字人應用于第二語言教育的技術優(yōu)勢，分析了大語言模型和虛擬數(shù)字人在教育應用中存在的問題，針對其技術特性提出了教育應用策略，并通過案例開發(fā)與實施驗證了應用策略的有效性，為大語言模型驅(qū)動的虛擬數(shù)字人在第二語言教育中的應用提供了路徑選擇。

二、大語言模型驅(qū)動的虛擬數(shù)字人應用于

第二語言教育的技術優(yōu)勢

（一）構建非判定性的語言交流環(huán)境

第二語言學習者在判定性環(huán)境中學習，如課堂學習環(huán)境，會受到學習或交流對象態(tài)度的影響，會引起學習者的焦慮、畏難或自信心不足等情緒，從而影響第二語言的學習效率[2]。在非判定性學習環(huán)境中，如移動非課堂學習環(huán)境，第二語言學習者可以長時間保持放松的情緒，維持較高的學習投入度和參與度，始終對第二語言學習充滿熱情[3]。大語言模型驅(qū)動的虛擬數(shù)字人具有多模態(tài)人機交互能力，如語音、動作和表情，能夠為第二語言的視、聽、說練習提供持續(xù)且耐心的仿真支持，通過語言和非語言的表達將第二語言的詞匯、句型、語法融入學習活動中[4]，使學習者在不用擔心語用對錯的情況下，進行第二語言的重復性知識學習和技能訓練。虛擬數(shù)字人可以與語境相關的虛擬或虛實融合場景相融合，提供與語言對話一致的視覺提示和動態(tài)演示，深層解釋第二語言知識的意義和用法。虛擬數(shù)字人參與的虛擬或虛實融合場景可以創(chuàng)造一個持續(xù)支持性和激勵性的學習環(huán)境，提升對學習者第二語言大規(guī)模輸入的持續(xù)性，實現(xiàn)同理心的實時表達，對學習者的情緒狀態(tài)作出實時反應，表現(xiàn)出類人的情感和移情反應，讓學習者產(chǎn)生較強的角色依賴感和社會交流感，減少學習焦慮，增加自信心，促進情感聯(lián)系，強化記憶滯留，增加對第二語言背景知識的理解，促進第二語言學習的具身認知[5]。

（二）生成內(nèi)容豐富的語言學習資源

第二語言的學習需要大量的語言知識輸入，才能使學習者領會第二語言的不同用法與相關邏輯，實現(xiàn)第二語言的有效輸出。大語言模型在廣泛而多樣的文本數(shù)據(jù)基礎上進行定制化訓練，可以為第二語言學習者提供大量高價值信息，使其能夠在大信息量支持的上下文語境中理解語音和語義。大語言模型驅(qū)動的現(xiàn)代語音引擎生成的教學語音的可信度在語音的內(nèi)容和語音的情感方面接近錄制的人聲，生成語音學習資源有很高的效率[6]。大語言模型對語言、語法和上下文的全面理解能夠生成較為準確且與上下文相關的語言表達示例，幫助學習者掌握語言的細微差別。融合了語音引擎的虛擬數(shù)字人可以為學習者提供多樣化的詞匯建議、常用語表達和現(xiàn)實生活中的語言使用實例，可以生成涵蓋多種主題表達和知識解釋的語音學習資源。大語言模型可以利用學習者的輸入生成與第二語言上下文相關且連貫的回復，使與虛擬數(shù)字人的第二語言交流具備真實交流情境的隨機性。還可以從用戶輸入的數(shù)據(jù)中不斷學習，使得虛擬數(shù)字人可以實時調(diào)整語言的內(nèi)容和語言的表達方式，適應各種會話場景，確保虛擬數(shù)字人的表達具備人類的流暢性和連貫性[7]。大語言模型經(jīng)大量文本訓練，儲備了豐富的第二語言語法、句法和上下文知識，使虛擬數(shù)字人詞匯量及知識儲備遠超人類。它不僅能直接輸出連貫、與語境相關的語音和文字，還能與學習者廣泛對話，并實時調(diào)整輸出內(nèi)容，使虛擬數(shù)字人具有廣泛的通用性和適應性，輸出的內(nèi)容有助于學習者加深對第二語言的理解。

（三）模擬真實性第二語言交流對象

模仿語言交流對象，即角色扮演活動在第二語言口語教學中起著重要的作用，可以激發(fā)學習者的自發(fā)學習與第二語言的創(chuàng)造性應用，促進學習者對第二語言知識的遷移。多項實證研究發(fā)現(xiàn)，經(jīng)常與虛擬角色教育代理進行口語交流，參與特定主題對話訓練，練習第二語言的特定表達，能夠顯著提升學習者的第二語言口語水平[8]。虛擬數(shù)字人可以作為教學代理變換不同的語言表達身份，給學習者提供不同語言情境下的角色變換，將不同語言知識貫穿在不同角色的表達內(nèi)容中，如詞匯的使用、短語的表達、句型的遷移等。具有不同對話特征的虛擬數(shù)字人即使在相同的主題和類似的對話路徑上，也可以呈現(xiàn)不同的表達方式，作為“交互中的共同參與”為學習者提供不同的語言應用啟示。大語言模型為虛擬數(shù)字人提供豐富的口語語料，模擬各領域語言交流方式，縮小課堂教學與實際語言使用的差距，擴充第二語言應用素材。這種虛擬數(shù)字人是多功能、多角色、多風格的長文本生成代理，能無縫轉(zhuǎn)換角色和交流方式，并隨角色變化調(diào)整虛擬場景，讓學習者體驗真實語境，模仿真實會話，感受不同語言表達情境與非語言邏輯，優(yōu)化學習者的第二語言口語交流經(jīng)驗，提升口語交流的信心。尤其是具備自學能力的語言學習者更容易在真實性角色扮演模擬環(huán)境中獲得第二語言學習的樂趣。

（四）提供互動式語言學習路徑規(guī)劃

對于基于虛擬角色的教學代理的研究表明，學習者可以遵循教學代理的提示和反饋，完成較為復雜或需要長期堅持的學習任務[9]。當虛擬數(shù)字人作為教學代理給學習者提供即時的、有方向性的學習引導時，學習者能夠跟隨教學代理完成難度較高，需要長時間堅持才能達到的第二語言學習目標。大語言模型可以與知識圖譜進行深度融合，對第二語言語料庫進行信息抽取，并和第二語言知識圖譜進行匹配，將結(jié)構化知識轉(zhuǎn)化成易懂的自然語言，最終生成具備第二語言知識學習路徑規(guī)劃能力的智能對話系統(tǒng)。系統(tǒng)以知識元為節(jié)點，根據(jù)其多維語義關系進行關聯(lián)，在知識層面和認知層面上表示語言知識和認知狀態(tài)，智能生成用于知識導航、認知診斷、資源聚合、路徑推薦的知識組織與認知表征[10]。具備上述智能對話功能的虛擬數(shù)字人可以通過引導性問題引發(fā)學習者自我決策，并借助人機協(xié)商性對話實現(xiàn)自適應學習路徑選擇與生成式認知框架建構[11]。同時考慮學習者先前的知識、表現(xiàn)和目標，為學習者生成學習主題和活動的邏輯順序，以最大限度地提高第二語言的理解能力和語言應用技能，通過不斷評估和調(diào)整學習路徑，確保學習者保持適當水平的心流狀態(tài)；通過動態(tài)的、具有情境意識的推理和指導，實現(xiàn)個性化學習；通過逐漸增加學習任務的復雜性和難度來促進支架式的學習體驗。從簡單的語言學習活動開始，逐漸進入困難的語言應用活動，從而提升學習者的自我效能感。

三、大語言模型和虛擬數(shù)字人應用于

第二語言教育存在的問題

（一）生成內(nèi)容存在偏差

人類語言的錯綜復雜和千差萬別，使大語言模型驅(qū)動的虛擬數(shù)字人全面理解和呈現(xiàn)自然的表達是一個巨大的挑戰(zhàn)，其生成語言的質(zhì)量將直接影響學習效果。大語言模型在技術設計、精準微調(diào)、語義表達、深入推理等多個方面均取得突破，但生成的內(nèi)容仍存在多種問題。大型語言模型的訓練內(nèi)容來自不同來源的文本信息，會從訓練數(shù)據(jù)中繼承偏差和錯誤，或由于訓練數(shù)據(jù)的不足產(chǎn)生錯誤邏輯推斷。大語言模型通常依賴大量的參數(shù)來存儲知識，生成的內(nèi)容由模型參數(shù)決定，因此，會出現(xiàn)虛構或編造的回復，從而出現(xiàn)正確表達的假象，生成的看似連貫、上下文合理的內(nèi)容常常缺乏事實準確性或現(xiàn)實基礎[12]。當學習者詢問超出大模型訓練范圍的內(nèi)容時，生成的內(nèi)容會產(chǎn)生完全編造或誤導性的結(jié)果。大語言模型知識雖廣，但仍有盲區(qū)，且多輪交互存在上下文不一致和知識遺忘問題。盡管大語言模型善于模仿人類語言，但缺乏倫理道德判斷，易生成不安全或有害內(nèi)容。學習者與之交互時，可能收到帶有偏見或不準確信息的回復，對語言意識產(chǎn)生負面影響，導致輸出錯誤觀念。

（二）語言表達情感缺失

語言為交際者提供了大量傳遞情感的言語策略，可以通過語言手段描述無數(shù)的情感狀態(tài)。在第二語言學習中，語用情感表達構建的社交線索，可以增加交流深度和精度，使語言交流更引人入勝。目前，大語言模型只能通過文字獲取輸入，無法捕捉第二語言中蘊含的細微情感和文化表達，使學習者出現(xiàn)疏離感和挫敗感，降低學習動力。語言表達情感缺失會使語言學習互動變得機械，脫離實際語境，讓學習者感覺不自然，難以為學習者提供有效的語言表達社交線索。非語言交流方式對語言理解和人際交往至關重要，但大語言模型只能通過文字提取情感，因此其驅(qū)動的虛擬數(shù)字人復制和回應社交線索能力有限，會影響語言學習經(jīng)驗獲取的真實性和有效性。學習者與虛擬數(shù)字人互動獲得的語言技能難以遷移到現(xiàn)實世界對話中，將其應用于涉及情感和社交暗示的場合時會遇到困難。

（三）學習反饋靈活性低

第二語言學習的反饋高度依賴語境，人類教師能靈活調(diào)整語言表達與行為表情，形成有效反饋。虛擬數(shù)字人雖能提供即時反饋，但缺乏人類教師的適應性和靈活性。其非語言反饋基于預設內(nèi)容，難以靈活適應語境，尤其在敏感話題上，缺乏教育經(jīng)驗和判斷力，可能產(chǎn)生誤導性反饋，對學習過程造成潛在傷害。虛擬數(shù)字人需要極高的人物形象保真度，不然會讓學習者產(chǎn)生“恐怖谷”的心理效應。然而，虛擬數(shù)字人建模的局限性和制作的高成本，會造成虛擬數(shù)字人無法完全模擬真人的外觀、動作、表情、手勢等，從而影響學習者感知交流的真實感和臨場感。由于目前虛擬數(shù)字人的外形設計高度依賴美術人員，其不當?shù)耐庥^設計會在不經(jīng)意間傳達刻板的印象、呆滯的表情或不恰當?shù)淖藙?，從而產(chǎn)生消極的用戶體驗，阻礙第二語言的流暢交流。虛擬數(shù)字人難以完全復制人類交流的細微差別和不斷變化的行為表情，讓學習者對語言使用的復雜性無法感知，尤其是對于理解俗語、諷刺、幽默和文化背景的反饋更難以實現(xiàn)。

（四）教育應用成本過高

大語言模型和虛擬數(shù)字人的實施和整合需要大量的計算資源和專業(yè)知識，而許多教育機構缺乏這些資源和技術能力。運行虛擬數(shù)字人的智能系統(tǒng)需強大GPU或TPU處理龐大的神經(jīng)網(wǎng)絡，導致高昂的初始成本和運營成本。如果要使用基于云計算的大語言模型驅(qū)動的虛擬數(shù)字人則需要高帶寬、可擴展通信通道，成本也很高。在軟件方面，需要針對性的訓練算法，計算量大且設計復雜。建立有效的第二語言學習和對話系統(tǒng)，需大量可信數(shù)據(jù)和針對性訓練，數(shù)據(jù)收集和標注挑戰(zhàn)巨大。整合虛擬數(shù)字人到各種應用平臺并保持內(nèi)容一致性和適應性在技術上也很復雜。同時，還要確保大語言模型生成的內(nèi)容以合乎道德和負責任的方式驅(qū)動這些虛擬實體，防止有害或有偏見的輸出，還需要精心設計軟件并進行持續(xù)監(jiān)控。這些軟硬件問題都會升高虛擬數(shù)字人在第二語言教育領域應用的成本。

四、大語言模型驅(qū)動的虛擬數(shù)字人

第二語言教育應用策略

（一）人機協(xié)同的內(nèi)容生成構建可信學習資源

由于大語言模型存在的缺陷導致其生成的學習內(nèi)容質(zhì)量參差不齊，這就需要充分發(fā)揮人的批判性思維和信息鑒別能力，對這些信息進行判斷、過濾和篩選，以確保生成的第二語言學習內(nèi)容的教育適用性。人類的監(jiān)督可以識別和糾正大語言模型生成的錯誤與偏見信息。利用人機協(xié)同的方式使用大語言模型生成第二語言學習內(nèi)容，進而生成虛擬數(shù)字人表達的內(nèi)容，是避免第二語言學習內(nèi)容偏差的有效方法。

一方面，可以鼓勵第二語言教育工作者利用具備的語言和文化知識，對大語言模型生成的第二語言學習內(nèi)容進行監(jiān)督和篩選，確保教學環(huán)節(jié)中使用的學習內(nèi)容的適切性，避免錯誤語言知識的出現(xiàn)。另一方面，可以允許教育技術研究人員增加虛擬數(shù)字人第二語言應用的創(chuàng)造力和使用背景，同時利用大語言模型加快學習內(nèi)容的生成。這樣既保證了生成內(nèi)容的準確性和質(zhì)量，又保證了生成內(nèi)容的速度和體量。利用虛擬數(shù)字人技術對大語言模型生成的第二語言學習內(nèi)容進行深度加工，豐富第二語言的呈現(xiàn)方式。這樣既提升了適切學習資源的生成效率，也提升了學習內(nèi)容的表現(xiàn)力。

教育工作者還可以與技術研究者合作，訓練個性化大語言模型，實時生成可信的二語學習內(nèi)容；并利用虛擬數(shù)字人模擬人類行為，處理輸入并生成反饋，從而創(chuàng)建一個可控的二語學習環(huán)境。在這種環(huán)境中，鼓勵學習者走出第二語言使用的舒適區(qū)，探索新的表達方式。在海量學習資源的支撐下，實現(xiàn)學練結(jié)合，促進二語使用多樣性，提升文化欣賞力與探索興趣。

（二）角色和場景融合空間實現(xiàn)多元反饋方式

虛擬數(shù)字人是一種體驗性媒介，憑借扮演各種角色身份的能力，可以承擔起連接個體與場景的任務，提供虛擬或虛實融合場景體驗反饋的功能，如AR和VR教學場景，可以幫助學習者在體驗過程中完成學習任務[13]。虛擬數(shù)字人作為連接真實或虛擬場景的代理，其外觀會影響第二語言學習者對于交互過程中的真實感、臨場感、信任感、群體滿意度等方面的感知。

根據(jù)不同第二語言應用場景，虛擬數(shù)字人可以被設計成特定的教育角色。當虛擬角色融入真實或虛擬場景中，就會降低其外觀對于學習者的影響。研究證明交互場景比交互對象更影響學習者對互動內(nèi)容的感知，只要學習者在交互場景中獲得了較高的社會臨場感，虛擬數(shù)字人的實體或形態(tài)并不會給社交體驗帶來顯著差別[14]。開發(fā)人員通過對視覺元素和虛擬數(shù)字人的整合，將圖像、視頻、圖表等其他視覺元素融入虛擬數(shù)字人所在的真實或虛擬場景中，創(chuàng)建更全面、更能感知上下文的場景表征，可以豐富教學反饋，提高學習者的參與度，進而弱化了虛擬數(shù)字人無法完全模擬真人的缺陷。

研究人員可以對虛擬數(shù)字人參與的教學輔助系統(tǒng)進行定向開發(fā)，根據(jù)學習者所處的環(huán)境，如課堂學習環(huán)境、家庭學習環(huán)境、泛在學習環(huán)境等，設計具有針對性的虛擬數(shù)字人參與的學習場景的呈現(xiàn)方式和適切的人機交互模式。開發(fā)人員根據(jù)不同學習者的交互習慣和反饋喜好，無縫整合各種媒體資源和角色，開發(fā)角色和場景融合的虛擬或虛實融合的學習空間，如AR或VR學習空間，使虛擬數(shù)字人為學習者提供豐富的情境感知體驗和自然且流暢的交互模式，從而使學習者在第二語言學習過程中發(fā)展文化共情能力和跨文化交流能力，并對第二語言文化的復雜性有更深的體會，促進學習者對第二語言知識與技能的理解，從而具備在一個日益互聯(lián)的世界中與不同文化背景人群交流的能力。

（三）實時學習行為分析支持情感識別與表達

隨著情感識別技術的發(fā)展，可以為虛擬數(shù)字人構建情感智能體系，協(xié)助虛擬數(shù)字人理解人類用戶的情感，利用語音情感識別、人臉表情識別和自然語言情感識別技術，實現(xiàn)虛擬數(shù)字人對學習者的情感感知、情感分析和情感反饋，進而具備模擬人類情感表達的能力[15]。情感感知作為情感智能的輸入，可以為虛擬數(shù)字人提供第二語言學習者的多模態(tài)情感輸入信息，如語音、表情、動作、手勢等；情感分析可以將感知來的第二語言學習者的情感信號轉(zhuǎn)化為計算機可理解的情感狀態(tài)；情感反饋可以讓虛擬數(shù)字人進行人類可感知的情感輸出。

具備情感智能體系的虛擬數(shù)字人一旦檢測到學習者情緒，可以通過語音、表情、心跳等情感特征進行情感推理，從而了解學習者的心理狀態(tài)，并調(diào)整自身表現(xiàn)以匹配學習者的情緒狀態(tài)；還能根據(jù)學習者的情緒狀態(tài)提供個性化反饋，以增強信心或減輕挫敗感。

通過分析情緒，虛擬數(shù)字人可以實時調(diào)整教學策略。如果學習者明顯感到無聊或不感興趣，情感智能體系可以引入互動活動、游戲或多媒體內(nèi)容，使學習體驗更加愉快。這種動態(tài)適應使虛擬數(shù)字人能夠提供個性化的、與情境相適應的反饋，從而提高人機交互的質(zhì)量，并為用戶提供更具吸引力的學習體驗。虛擬數(shù)字人通過互動模擬和實時反饋，能夠顯著提升學習者對正確發(fā)音語調(diào)的認識，使學習者在同一時空內(nèi)接觸到不同的口音，增強對第二語言語音復雜性的理解。這種反饋的即時性培養(yǎng)了學習者的成就感和掌控感，最終增強參與對話和第二語言應用的信心。

（四）整合通用設備接口促進教育應用的普及

提高虛擬數(shù)字人在第二語言教育中的應用關鍵是要整合各個教育單位和學習個體擁有的通用信息化設備。首先，要確保虛擬數(shù)字人的界面與各種通用信息化設備的兼容性，如智能手機、平板電腦、課堂教學觸控一體機等，降低虛擬數(shù)字人第二語言教學輔助軟件的部署和訪問成本。其次，利用云計算的服務簡化虛擬數(shù)字人的更新和維護過程。將驅(qū)動虛擬數(shù)字人的大語言模型所需的大量計算負荷遷移到云計算服務器上，向通用信息化教學設備提供實時計算響應，確保學習者與虛擬數(shù)字人實時交互的流暢性，擴大虛擬數(shù)字人第二語言教育應用的覆蓋范圍，降低第二語言學習資源獲取難度。此外，還可以通過訓練應用于第二語言教育的定制化語言模型，設計與開發(fā)具備離線功能的虛擬數(shù)字人，將其應用于網(wǎng)絡帶寬不夠、通信穩(wěn)定性不足的農(nóng)村地區(qū)。尤其是迫切需要進行語言教學改革的民族地區(qū)，更需要具備便利訪問的虛擬數(shù)字人來輔助教師進行語言教學。

為了提升大語言模型驅(qū)動的虛擬數(shù)字人在教育領域應用的效率和質(zhì)量，科技企業(yè)應提供二次開發(fā)工具與資源，支持教育技術人員創(chuàng)建自定義功能或應用，促進虛擬數(shù)字人第二語言教育應用的創(chuàng)新和普及。還可以創(chuàng)建虛擬數(shù)字人支持的二語學習平臺，訓練特色對話系統(tǒng)，整合課程、資源、場景，形成完整教學平臺。利用虛擬數(shù)字人引導特色教育內(nèi)容、教學模式與訓練方式，通過經(jīng)濟實惠、可擴展的數(shù)字渠道普及給教學工作者和學習者，推動虛擬數(shù)字人在二語教育中的廣泛應用。

五、大語言模型驅(qū)動的虛擬數(shù)字人

第二語言教育應用實踐

基于上述應用策略，研究團隊通過人機協(xié)同的方式，基于大語言模型平臺訓練私有對話模型支持可信教學資源生成，利用人臉表情識別云服務實現(xiàn)對學習者的情感識別，利用游戲引擎開發(fā)虛擬角色和三維場景融合的學習空間，并將應用程序部署到教學觸控一體機和平板電腦及通用設備支持下的教育應用實踐活動中，如圖1所示。

大語言模型驅(qū)動的虛擬數(shù)字人第二語言教育應用程序由教師、模型訓練人員、開發(fā)人員協(xié)同設計與開發(fā)，實踐應用流程如圖2所示。三類人員分工不同，但有共同目標，協(xié)同完成教學應用程序的設計和開發(fā)。第二語言教師負責設計學習任務、內(nèi)容、活動及評測題庫；模型訓練人員利用百度千帆平臺訓練對話模型；開發(fā)人員整合模型、云服務、數(shù)字人生成服務及三維場景，生成虛擬數(shù)字人引導的教學場景并部署在通用設備上。教師在虛擬助教、虛擬對話角色和虛擬伙伴的協(xié)助下，幫助學習者完成關鍵學習環(huán)節(jié)，在非判定性的交流環(huán)境，學習語言知識，練習語言技能，符合交際語言教學原則。

（一）教師實踐：設計教學內(nèi)容和組織教學活動

教師需要精心設計第二語言學習任務，提高學習者的語用能力和文化理解能力。學習任務的設計包括鼓勵詞匯應用和句型練習，培養(yǎng)閱讀和表達技能；知識內(nèi)容的設計需選擇與學習目標相關且文化適宜的主題，結(jié)合現(xiàn)實情境，提高理解力和參與度；會話設計融合真實對話、角色扮演和討論，模擬現(xiàn)實交流，從而讓學習者在語境中練習第二語言；評測題目的設計要多樣化，以全面評估學習者的聽、說、讀、寫能力。在教學組織方面，教師通過對話互動引導學習者高效地利用虛擬數(shù)字人，促進積極的語言參與和交流，并合理安排各種資源組織學習者進行課前預習、課中練習和課后復習評測。通過數(shù)據(jù)分析工具和語言跟蹤應用程序加強進度控制，使教師能夠監(jiān)控學習者的表現(xiàn)，找出學習差距，并相應地調(diào)整干預措施。

（二）模型訓練人員實踐：訓練多種教學對話模型

模型訓練人員利用百度千帆大模型訓練平臺的知識問答應用（RAG框架），基于ERNIE-Bot4.0模型訓練教學對話模型，包括任務引導對話模型、學習引導對話模型、語言對話模型和評測對話模型。平臺通過基于大語言模型的知識點挖掘技術，對用戶上傳的知識庫文檔進行知識生產(chǎn)提煉，形成可被語義檢索的知識點，實現(xiàn)高準確率的特定范圍的智能知識問答功能。任務引導對話模型用于生成引導學習任務的對話內(nèi)容，以滿足二語學習任務發(fā)布需求；學習引導對話模型用于生成呈現(xiàn)學習內(nèi)容的對話，通過對話的形式完成第二語言知識的學習；語言對話模型用來模擬自然會話的能力，將不同的語言風格、文化細微差別和語境相關性融入其中，從而提高語言生成的真實性；評測對話模型用于創(chuàng)建有效評估語言能力的評估引導內(nèi)容，為評估學習者語音、語義、理解、表達和語境理解等技能，提供全面細致的評估工具。

（三）開發(fā)人員實踐：開發(fā)虛擬數(shù)字人參與的教學場景并部署教育應用程序

開發(fā)人員首先通過Metahuman生成虛擬數(shù)字人模型和虛擬數(shù)字人動作表情集，并利用Oculus Lipsync口型配比云服務將虛擬數(shù)字人的口型與發(fā)音相匹配。虛擬數(shù)字人通過百度人臉表情識別云服務識別用戶身份和檢測用戶的面部表情，進而分析用戶的學習狀態(tài)；利用百度語音識別與合成云服務處理用戶的輸入語音和虛擬人的輸出語音；通過科大訊飛的語音評測云服務開發(fā)課后評測系統(tǒng)。開發(fā)人員利用虛幻引擎5（UE5）創(chuàng)建或?qū)敫鞣N三維場景作為虛擬數(shù)字人互動的環(huán)境，以增強交互的真實感。利用 UE5的腳本功能識別和解釋語言提示或動作，對虛擬角色進行編程，使其對用戶輸入作出動態(tài)響應，實現(xiàn)虛擬數(shù)字人與三維場景融合的即時反饋模式，進行實時交流和反饋。

（四）學習者實踐：使用通用設備進行第二語言的多環(huán)節(jié)學習

將大語言模型驅(qū)動的虛擬數(shù)字人整合到觸控一體機和平板電腦上，大大地提升了其普及程度。課前，學習者利用平板電腦獲取詞匯、句型、篇章和對話等學習任務，并利用平板電腦進行自主學習和與虛擬角色進行對話；課中，利用教學觸控一體機在虛擬助教的輔助下進行雙師對話、隨機提問、課堂競猜、教學游戲等活動；課后，在虛擬學伴的幫助下進行復習，還可以進行詞音、詞義、句音、句義等全方位的評測。在這種模式下，學習者可以參與互動語言練習，通過語音識別技術練習發(fā)音，并獲得實時幫助，從而創(chuàng)造一個動態(tài)的、身臨其境的學習環(huán)境。此外，智能設備實現(xiàn)了學習的靈活性，讓學習者可以隨時隨地獲取語言材料，培養(yǎng)自主、獨立的語言學習能力。虛擬助教與智能設備的整合提高了第二語言學習的效率和效果，提供了一種量身定制的、技術上更豐富的教育體驗。

總體而言，本研究團隊設計與開發(fā)的教育應用程序受到師生好評。其成功源于以下幾方面：一是注重調(diào)動學習者的積極性，將學習者定位為核心參與者；二是實施現(xiàn)代化教學手段，提高課堂效率；三是根據(jù)學習者年齡選擇虛擬數(shù)字人項目，基于交際性語言教學的原則，讓學習者在模擬真實場景中與不同角色交流，既提升了學習興趣，又加強了語言熟練度。此外，教師過程性評價與課后評測相結(jié)合，有效地調(diào)動了學習者的積極性，為后續(xù)學習提供了支持。精心設計的教學內(nèi)容也符合第二語言學習需求，確保了教學目標的實現(xiàn)。教學過程鼓勵學習者積極參與，培養(yǎng)獨立思考、探索、交流、合作和主動學習的精神。課堂教學以訓練語言應用能力為主，展示自主學習過程。進度控制和自主學習策略解決了個體差異，實現(xiàn)了分層教學，優(yōu)化了課堂效率。

六、結(jié)? ?語

第二語言教育在提高個體認知能力和促進個人發(fā)展方面有重要作用。然而，由于缺乏語言交流環(huán)境，往往強調(diào)詞匯的死記硬背和語法的機械套用，阻礙了語言實際應用能力的培養(yǎng)。隨著虛擬現(xiàn)實和人工智能技術的快速發(fā)展，使得大語言模型驅(qū)動的虛擬數(shù)字人可以為學習者構建非判定性語言交流環(huán)境，呈現(xiàn)豐富的語言應用場景，模擬多種語言交流對象，規(guī)劃個性化學習路徑。但其應用中也存在問題，如生成內(nèi)容偏差、情感表達缺失、反饋缺乏靈活性、成本過高等。為了解決上述問題，文章提出了系列應用策略并進行實踐，包括通過人機協(xié)同生成教育適用性資源、建立角色和場景融合學習空間實現(xiàn)多元反饋、實時行為分析實現(xiàn)情感識別、整合通用設備接口促進應用普及。文章提出的教育應用策略和實踐經(jīng)驗，為虛擬數(shù)字人在第二語言教育中的廣泛應用提供了具體的路徑，為我國廣大第二語言教育工作者、教育技術研究人員、數(shù)字化教育產(chǎn)品設計與開發(fā)人員提供了利用技術變革教育模式的新思路。

[參考文獻]

[1] 劉挺.從ChatGPT談大語言模型及其應用[J].語言戰(zhàn)略研究，2023，43（5）：14-18.

[2] TAN J， MAO J， JIANG Y Z， GAO M. The influence of academic emotions on learning effects： a systematic review [J].? ? ? ? International journal of environmental research and public health，2021，18（18）：1-19.

[3] DOUMANIS I， ECONOMOU D， SIM G R， PORTER S. The impact of multimodal collaborative virtual environments on learning： a gamified online debate[J]. Computers & education，2019，130（3）：121-138.

[4] 嚴通.基于ChatGPT語言模型的虛擬數(shù)字人語音交互應用 [J].電視技術，2023，47（8）：182-186.

[5] ZHENG S Y， ZHOU X. Positive influence of cooperative learning and emotion regulation on EFL learners' foreign language enjoyment [J]. International journal of environmental research and public health，2022，19（19）：1-15.

[6] CRAIG S D， SCHROEDER N L. Reconsidering the voice effect when learning from a virtual human[J]. Computers & education，2017，114（2）：193-205.

[7] HOU Z J， SALAZAR J， POLOVETS G. Meta-learning the difference： preparing large language models for efficient adaptation[J]. Transactions of the association for computational linguistics，2022（10）：1249-1265.

[8] JAEHO J， SEONGYONG L， HOHSUNG C. Beyond ChatGPT： a conceptual framework and systematic review of speech-recognition chatbots for language learning[J]. Computers & education，2023，206（1）：1-21.

[9] HARLEY J M， TAUB M， AZEVEDO R， BOUCHET F. Let's set up some subgoals： understanding human-pedagogical agent collaborations and their implications for learning and prompt and feedback compliance[J]. IEEE transactions on learning technologies，2018，11（4）：54-66.

[10] 崔萌，穆肅，黃曉地.基于過程數(shù)據(jù)及分析的在線學習路徑研究：規(guī)律與規(guī)劃[J].開放教育研究，2020，26（3）：58-70.

[11] 戴嶺，趙曉偉，祝智庭.智慧問學：基于ChatGPT的對話式學習新模式[J].開放教育研究，2023，29（6）：42-50.

[12] 文森， 錢力， 胡懋地， 常志軍.基于大語言模型的問答技術研究進展綜述[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2023（11）：1-17.

[13] 程思琪，喻國明，楊嘉儀，陳雪嬌.虛擬數(shù)字人：一種體驗性媒介——試析虛擬數(shù)字人的連接機制與媒介屬性[J].新聞界，2022（7）：12-23.

[14] SAM T， ANNIKA S， AGNETAGULZ， TOM Z. Physical vs. virtual agent embodiment and effects on social interaction. 16th International Conference[C]. Los Angeles， Springer，2016.

[15] 王照涵，呂欣.從“數(shù)字皮囊”到“有趣靈魂”：生成式AI引領數(shù)字人交互模式變革[J].傳媒，2023，10（2）：49-50.

A Study on Application of Virtual Digital Human for Second Language Education Driven by Large Language Model

WEI Xiaodong，? XI Pengfei

（School of Educational Technology， Northwest Normal University， Lanzhou Gansu 730070）

[Abstract] With the continuous breakthrough of large language model technology in many aspects， virtual digital human driven by large language model to assist second language learning can significantly improve the learning experience and learning efficiency of second language learners. Through literature review， this paper summarizes the role of virtual digital human in constructing second language learning environment， generating second language learning resources， simulating second language communication objects and providing second language learning paths. It also sorts out the problems of large language model and virtual digital human， such as poor generated content， lack of pragmatic emotion， inappropriate learning feedback and high application cost. This paper puts forward the application strategy of virtual digital human-assisted second language education， which includes human-computer collaborative content generation to build trusted learning resources， role-scene integration to achieve multiple feedback modes， real-time learning behavior analysis to support emotional expression， and integration of universal device interfaces to promote the popularization of educational applications. The effectiveness of the application strategy has been verified through case development and implementation， with a view to providing choices for the sustainable development of China's second language education in the digital age.

[Keywords] Large Language Model; Virtual Digital Human; Second Language Education; Generative Artificial Intelligence；Educational Application