摘要：本文提出了結(jié)合AI智能體與WebXR技術(shù)標(biāo)準(zhǔn)，打造智能沉浸式小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)的方案。作者闡述了基于WebXR和AI智能體的小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)的架構(gòu)設(shè)計(jì)，為讀者提供了一個(gè)清晰的整體框架，并聚焦于AI智能體在整個(gè)學(xué)習(xí)系統(tǒng)中運(yùn)行的核心原理，展示其在學(xué)習(xí)過(guò)程中的關(guān)鍵作用。本文旨在為開(kāi)發(fā)者提供一套全面而詳盡的產(chǎn)品設(shè)計(jì)藍(lán)圖，推動(dòng)小學(xué)英語(yǔ)情境化學(xué)習(xí)的創(chuàng)新發(fā)展。

關(guān)鍵詞：人工智能；AI智能體；WebXR；英語(yǔ)學(xué)習(xí)

中圖分類(lèi)號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 論文編號(hào)：1674-2117（2024）18-0086-04

引言

英語(yǔ)情境化學(xué)習(xí)對(duì)提升學(xué)習(xí)者的實(shí)際應(yīng)用能力至關(guān)重要。然而，現(xiàn)實(shí)環(huán)境的限制使得學(xué)習(xí)者難以進(jìn)行充分的真實(shí)環(huán)境對(duì)話練習(xí)。因此，就有必要引入AI角色參與對(duì)話練習(xí)，進(jìn)行泛化學(xué)習(xí)。然而，在與AI角色進(jìn)行對(duì)話時(shí)，存在一個(gè)關(guān)鍵問(wèn)題：AI角色對(duì)話內(nèi)容的生成。雖然AI具備豐富的通識(shí)知識(shí)，能夠靈活應(yīng)對(duì)各種話題，但對(duì)于一些特定的學(xué)習(xí)場(chǎng)景，我們希望學(xué)習(xí)者能夠按照既定的句型與內(nèi)容進(jìn)行針對(duì)性的訓(xùn)練，此時(shí)需要AI角色能夠根據(jù)對(duì)話的上下文，精準(zhǔn)地按照預(yù)設(shè)句型與內(nèi)容進(jìn)行對(duì)話，而不要進(jìn)行泛化生成。再有，AI在處理時(shí)效性較強(qiáng)的近期事件時(shí)存在一定的局限性，為了彌補(bǔ)這一不足，希望能夠協(xié)同網(wǎng)絡(luò)搜索功能，以便在必要時(shí)為AI提供相關(guān)的最新動(dòng)態(tài)，確保其對(duì)話內(nèi)容既準(zhǔn)確又富有時(shí)效性。

針對(duì)上述問(wèn)題與需求，本文致力于設(shè)計(jì)一個(gè)基于WebXR和AI智能體的小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)。

基于WebXR和AI智能體的小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)框架

1.系統(tǒng)功能結(jié)構(gòu)

本系統(tǒng)主要功能涉及學(xué)習(xí)中心與后臺(tái)管理兩大部分。

（1）學(xué)習(xí)中心

學(xué)習(xí)中心是與學(xué)習(xí)者直接相關(guān)的功能，包含賬戶(hù)維護(hù)、場(chǎng)景構(gòu)建、場(chǎng)景學(xué)習(xí)、會(huì)話導(dǎo)出、會(huì)話分享。賬戶(hù)維護(hù)指學(xué)習(xí)者注冊(cè)、登錄和個(gè)人信息維護(hù)等基礎(chǔ)功能；場(chǎng)景構(gòu)建指學(xué)習(xí)者可以自己構(gòu)建個(gè)性化學(xué)習(xí)場(chǎng)景，并與其他角色一起學(xué)習(xí)；場(chǎng)景學(xué)習(xí)指學(xué)習(xí)者可以進(jìn)入自己或他人創(chuàng)建的場(chǎng)景，與其他同伴角色或AI角色進(jìn)行沉浸式對(duì)話學(xué)習(xí)；會(huì)話導(dǎo)出指可以將基于場(chǎng)景的會(huì)話以視頻的形式進(jìn)行導(dǎo)出，內(nèi)容涉及場(chǎng)景視頻、對(duì)話音頻、字幕等，形態(tài)可以是一般MP4視頻、固定視角的VR視頻，也可以為基于本系統(tǒng)序列化數(shù)據(jù)的在線沉浸式視頻（在支持VR設(shè)備下可調(diào)整觀看視角）；會(huì)話分享指將生成的視頻提供給其他學(xué)習(xí)者觀看和學(xué)習(xí)。

（2）后臺(tái)管理

后臺(tái)管理是支撐系統(tǒng)運(yùn)行的相關(guān)功能，包括用戶(hù)管理、模型管理、內(nèi)容管理、AI策略管理。用戶(hù)管理指用戶(hù)注冊(cè)驗(yàn)證與密碼找回等基礎(chǔ)功能；模型管理指對(duì)3D場(chǎng)景模型和3D角色模型的管理，這些模型主要由系統(tǒng)提供，用戶(hù)在創(chuàng)建具體場(chǎng)景時(shí)，可從系統(tǒng)中進(jìn)行選擇（也可上傳自己的個(gè)性化3D模型）；內(nèi)容管理指關(guān)于對(duì)話內(nèi)容（文本和音頻）的維護(hù)，用戶(hù)在創(chuàng)建具體場(chǎng)景時(shí)，可以選用已有內(nèi)容（也可自己編輯內(nèi)容）；AI策略管理指在會(huì)話過(guò)程中如何讓AI發(fā)揮作用，如AI角色在生成對(duì)話內(nèi)容時(shí)對(duì)本地知識(shí)庫(kù)的依賴(lài)度、協(xié)調(diào)會(huì)話過(guò)程中AI的協(xié)調(diào)策略等。

2.系統(tǒng)運(yùn)行流程

系統(tǒng)運(yùn)行的總體流程如圖1所示。首先，管理員需要?jiǎng)?chuàng)建場(chǎng)景模型庫(kù)、角色模型庫(kù)以及對(duì)話內(nèi)容庫(kù)。隨后，學(xué)習(xí)者可以根據(jù)自己的需求創(chuàng)建新的學(xué)習(xí)場(chǎng)景，他們可以從庫(kù)中選擇或上傳場(chǎng)景模型與角色模型，并選擇或自定義對(duì)話內(nèi)容，這些內(nèi)容既可以是預(yù)設(shè)的，也可以是開(kāi)放式的。在創(chuàng)建完場(chǎng)景后，學(xué)習(xí)者需要發(fā)布該場(chǎng)景并邀請(qǐng)其他學(xué)習(xí)者加入。一旦場(chǎng)景準(zhǔn)備就緒，學(xué)習(xí)者便可以進(jìn)入自己創(chuàng)建或他人發(fā)布并邀請(qǐng)自己的場(chǎng)景中進(jìn)行學(xué)習(xí)，從而正式開(kāi)啟基于具體場(chǎng)景的沉浸式對(duì)話學(xué)習(xí)體驗(yàn)。在整個(gè)會(huì)話過(guò)程中，AI智能體會(huì)積極參與并協(xié)調(diào)對(duì)話，確保會(huì)話能夠順暢且持續(xù)地進(jìn)行。

AI智能體運(yùn)行核心原理與任務(wù)

本文中AI智能體運(yùn)行的核心原理如圖2所示。AI智能體（Agent）協(xié)調(diào)大語(yǔ)言模型（LLM）進(jìn)行環(huán)境感知與工具調(diào)用，這一復(fù)雜過(guò)程涵蓋了多個(gè)關(guān)鍵組件：大語(yǔ)言模型（LLM）、場(chǎng)景庫(kù)（Scenes）、思維鏈（Chains）、工具庫(kù)（Tools）、原始內(nèi)容庫(kù)（Contents）、向量?jī)?nèi)容庫(kù)（Contents_Vector）、會(huì)話庫(kù)（Records）、向量會(huì)話庫(kù)（Records_Vector）。

1.組件間的協(xié)同與分工

LLM代表任一款大語(yǔ)言模型（如ChatGPT、文心一言、ChatGLM等），負(fù)責(zé)深度理解和生成自然語(yǔ)言文本；Agent是系統(tǒng)的智能會(huì)話控制中樞，在會(huì)話過(guò)程中負(fù)責(zé)調(diào)用LLM與用戶(hù)進(jìn)行交互，必要時(shí)進(jìn)行工具調(diào)用，并將結(jié)果返回給LLM參考和使用；Tools是提供給LLM的各種工具，主要負(fù)責(zé)本地向量化嵌入數(shù)據(jù)的存儲(chǔ)與檢索；Scenes指具體會(huì)話場(chǎng)景，LLM能夠從Scenes中感知會(huì)話信息并與Agent進(jìn)行協(xié)調(diào)處理；Contents是對(duì)話內(nèi)容原始文本資料（如關(guān)于購(gòu)物的一段完整對(duì)話文本）；Contents_Vector是原始文本資料的片段拆分及其向量化嵌入表示，方便Agent進(jìn)行語(yǔ)義檢索；Records是在具體場(chǎng)景中記錄的各角色的會(huì)話信息（由AI從會(huì)話音頻中解析出的文字）；Records_Vector是會(huì)話文本信息的向量化嵌入表示；Chains指Agent多次與LLM進(jìn)行交互產(chǎn)生的任務(wù)鏈，包括系統(tǒng)運(yùn)行過(guò)程中LLM與Agent自動(dòng)生成的任務(wù)鏈，也包含系統(tǒng)預(yù)先設(shè)定的任務(wù)鏈。例如，根據(jù)當(dāng)前的會(huì)話進(jìn)程與內(nèi)容，Agent可以有針對(duì)性地多次調(diào)用LLM來(lái)評(píng)估用戶(hù)的歷史會(huì)話和系統(tǒng)內(nèi)容庫(kù)，從而提升生成內(nèi)容的匹配度。

2.關(guān)于場(chǎng)景和角色的說(shuō)明

場(chǎng)景是會(huì)話的虛擬空間，場(chǎng)景={主題，場(chǎng)景說(shuō)明，場(chǎng)景模型，會(huì)話內(nèi)容，是否固定會(huì)話內(nèi)容，是否固定角色數(shù)，角色數(shù)量，最大真人角色數(shù)量，AI角色數(shù)量}。對(duì)于角色數(shù)量，如果會(huì)話內(nèi)容固定，角色數(shù)量也即固定，會(huì)話時(shí)各個(gè)角色依次進(jìn)行對(duì)話；若會(huì)話內(nèi)容不固定，則需要規(guī)定AI角色數(shù)量，真人角色數(shù)量不限；在會(huì)話過(guò)程中，如果場(chǎng)景中真人角色不足，則缺失角色由AI角色自動(dòng)補(bǔ)充。

3.AI角色會(huì)話內(nèi)容生成策略

在涉及AI角色扮演的會(huì)話場(chǎng)景中，本文采用以下策略生成會(huì)話內(nèi)容：AI智能體根據(jù)當(dāng)前會(huì)話的上下文內(nèi)容，運(yùn)用檢索增強(qiáng)生成（RAG）技術(shù)，從系統(tǒng)已有會(huì)話內(nèi)容庫(kù)中檢索相關(guān)信息。若檢索到的內(nèi)容與當(dāng)前會(huì)話情境匹配度達(dá)到預(yù)設(shè)的閾值，AI智能體將直接采用這些內(nèi)容進(jìn)行回應(yīng)；否則，AI智能體將檢索到的內(nèi)容及匹配度、當(dāng)前會(huì)話上下文傳給大語(yǔ)言模型，由大語(yǔ)言模型基于上述信息進(jìn)行深入理解，輔以網(wǎng)絡(luò)搜索工具，自動(dòng)創(chuàng)作出符合語(yǔ)境的對(duì)話內(nèi)容。

在整個(gè)對(duì)話內(nèi)容生成過(guò)程中，AI智能體、大語(yǔ)言模型和網(wǎng)絡(luò)搜索工具三者緊密協(xié)作，充分利用系統(tǒng)自有會(huì)話內(nèi)容、網(wǎng)絡(luò)上的豐富信息以及AI本身所掌握的廣泛知識(shí)進(jìn)行內(nèi)容生成。這種設(shè)計(jì)旨在實(shí)現(xiàn)精準(zhǔn)內(nèi)容與通識(shí)知識(shí)之間的互補(bǔ)，既避免內(nèi)容過(guò)度泛化，又能確保會(huì)話可持續(xù)進(jìn)行，從而讓AI角色與學(xué)習(xí)者之間的交流更加自然、順暢，仿佛兩位真實(shí)的學(xué)習(xí)者在進(jìn)行互動(dòng)。

4.AI智能體的多元化協(xié)同工作

在系統(tǒng)運(yùn)行過(guò)程中，除會(huì)話內(nèi)容生成外，AI智能體還需在其他各方面與大語(yǔ)言模型緊密協(xié)作，以確保系統(tǒng)穩(wěn)定高效運(yùn)行。

（1）AI角色自動(dòng)生成

在涉及AI角色的會(huì)話中，AI智能體會(huì)依據(jù)場(chǎng)景需求，動(dòng)態(tài)生成適量的AI角色，與學(xué)習(xí)者一起參與會(huì)話，豐富交互體驗(yàn)。

（2）角色形象智能匹配

根據(jù)當(dāng)前場(chǎng)景的主題、內(nèi)容描述以及預(yù)設(shè)的會(huì)話內(nèi)容，AI智能體會(huì)調(diào)用大語(yǔ)言模型進(jìn)行語(yǔ)義匹配，并從系統(tǒng)3D角色模型庫(kù)中自動(dòng)為各個(gè)角色分配模型。

（3）語(yǔ)音識(shí)別與生成

在場(chǎng)景會(huì)話中，AI智能體需要調(diào)用大語(yǔ)言模型和工具進(jìn)行語(yǔ)音識(shí)別并對(duì)識(shí)別出的文本進(jìn)行向量化嵌入與存儲(chǔ)。在有AI角色參與的會(huì)話中，還需要根據(jù)智能生成的對(duì)話文本，調(diào)用文本轉(zhuǎn)語(yǔ)音工具生成音頻（需要根據(jù)角色選用合適的音色）。

（4）會(huì)話活動(dòng)的組織

AI智能體會(huì)結(jié)合當(dāng)前場(chǎng)景、學(xué)習(xí)者的參與情況、歷史會(huì)話信息和角色基本信息，適當(dāng)?shù)亟M織會(huì)話的開(kāi)場(chǎng)，介紹背景、穿插旁白，以營(yíng)造活躍的氛圍。

（5）確保會(huì)話的持續(xù)性

在會(huì)話進(jìn)行過(guò)程中，AI智能體會(huì)在突發(fā)事件時(shí)發(fā)揮組織與協(xié)調(diào)作用。例如，當(dāng)某個(gè)學(xué)習(xí)者中途退出場(chǎng)景時(shí)，AI智能體會(huì)立即生成替代的AI角色，確保會(huì)話能夠不間斷地進(jìn)行。

（6）場(chǎng)景的無(wú)縫切換

隨著會(huì)話的深入，可能需要轉(zhuǎn)換到不同的場(chǎng)景。AI智能體會(huì)根據(jù)當(dāng)前場(chǎng)景和會(huì)話上下文，自動(dòng)從系統(tǒng)中選擇并切換到新的場(chǎng)景，使會(huì)話更加自然流暢。

小學(xué)英語(yǔ)會(huì)話場(chǎng)景構(gòu)建依據(jù)與策略

1.場(chǎng)景構(gòu)建依據(jù)

在設(shè)計(jì)小學(xué)英語(yǔ)學(xué)科會(huì)話場(chǎng)景時(shí)，要遵循《義務(wù)教育英語(yǔ)課程標(biāo)準(zhǔn)（2022年版）》（以下簡(jiǎn)稱(chēng)“英語(yǔ)課標(biāo)”）的指導(dǎo)原則及小學(xué)英語(yǔ)核心素養(yǎng)要求，確保場(chǎng)景的實(shí)用性和教育性。首先，依據(jù)標(biāo)準(zhǔn)中提出的“以學(xué)生為中心”的教學(xué)理念，踐行學(xué)思結(jié)合、用創(chuàng)為本的英語(yǔ)學(xué)習(xí)活動(dòng)觀，以主題為引領(lǐng)選擇和組織課程內(nèi)容，設(shè)計(jì)與學(xué)生日常生活緊密相關(guān)的會(huì)話場(chǎng)景，以激發(fā)學(xué)生的學(xué)習(xí)興趣和積極性。其次，注重場(chǎng)景的交際性和實(shí)踐性，通過(guò)模擬真實(shí)場(chǎng)景中的對(duì)話，培養(yǎng)學(xué)生的語(yǔ)言運(yùn)用能力和跨文化交際能力。最后，遵循循序漸進(jìn)的原則，按照課標(biāo)規(guī)定的小學(xué)英語(yǔ)分級(jí)體系，從簡(jiǎn)單的日常會(huì)話開(kāi)始，逐步過(guò)渡到涉及更多復(fù)雜語(yǔ)法結(jié)構(gòu)和詞匯的會(huì)話場(chǎng)景，以確保學(xué)生能夠在逐步提高的過(guò)程中建立自信，掌握扎實(shí)的英語(yǔ)基礎(chǔ)知識(shí)。同時(shí)，場(chǎng)景構(gòu)建堅(jiān)持開(kāi)放性原則，用戶(hù)可以進(jìn)行個(gè)性化場(chǎng)景構(gòu)建。

2.場(chǎng)景構(gòu)建策略

在圍繞小學(xué)英語(yǔ)課標(biāo)構(gòu)建學(xué)習(xí)場(chǎng)景時(shí)，既要考慮場(chǎng)景的內(nèi)容承載性，又要兼顧場(chǎng)景之間內(nèi)容的關(guān)聯(lián)性，以便于大語(yǔ)言模型能夠精準(zhǔn)地捕捉場(chǎng)景的核心要素，并順暢地在不同場(chǎng)景間進(jìn)行無(wú)縫切換。依據(jù)小學(xué)英語(yǔ)課標(biāo)的具體內(nèi)容與其內(nèi)在的邏輯關(guān)聯(lián)，除了上文中明確界定的場(chǎng)景內(nèi)容等屬性外，還應(yīng)為每個(gè)場(chǎng)景設(shè)定相應(yīng)的元數(shù)據(jù)集合，這些元數(shù)據(jù)是小學(xué)英語(yǔ)課標(biāo)中涉及的各個(gè)元知識(shí)點(diǎn)。例如，在購(gòu)物場(chǎng)景中，元數(shù)據(jù)集合可以包括顏色、種類(lèi)、大小、尺碼、價(jià)格、喜歡與否、打招呼方式以及告別語(yǔ)等；而在自我介紹場(chǎng)景中，元數(shù)據(jù)集合則應(yīng)涵蓋高矮、胖瘦、具體身高、具體體重、性別、飲食喜好、體育愛(ài)好、五官特征描述、喜歡的顏色、頭發(fā)長(zhǎng)短等。通過(guò)場(chǎng)景和元數(shù)據(jù)集形成的場(chǎng)景知識(shí)關(guān)聯(lián)矩陣，將極大地提升大模型在會(huì)話中的智能調(diào)度能力，讓AI驅(qū)動(dòng)下的會(huì)話活動(dòng)更加自然。

風(fēng)險(xiǎn)與應(yīng)對(duì)策略

本系統(tǒng)的潛在風(fēng)險(xiǎn)主要是AI內(nèi)容生成。盡管本文設(shè)計(jì)的AI角色對(duì)話內(nèi)容生成策略在平衡精準(zhǔn)內(nèi)容與通識(shí)知識(shí)方面進(jìn)行了兼顧，但也必須正視其中存在的一些不容忽視的風(fēng)險(xiǎn)與挑戰(zhàn)。

首先，在調(diào)用具體大語(yǔ)言模型時(shí)，生成內(nèi)容的可控性是一大挑戰(zhàn)。這可能導(dǎo)致在某些敏感或關(guān)鍵對(duì)話中，AI智能體的回應(yīng)可能引發(fā)不必要的爭(zhēng)議或誤解。因此，需要根據(jù)實(shí)際情況持續(xù)調(diào)整和優(yōu)化智能策略，以確保對(duì)話的相關(guān)性和適宜性。

其次，隨著大語(yǔ)言模型的持續(xù)進(jìn)化，其思維和價(jià)值觀也會(huì)隨之變遷，這無(wú)疑會(huì)對(duì)生成內(nèi)容的方向產(chǎn)生持續(xù)而深遠(yuǎn)的影響。為應(yīng)對(duì)這一挑戰(zhàn)，需要時(shí)刻關(guān)注對(duì)話內(nèi)容，并在必要時(shí)調(diào)整智能體策略以適應(yīng)大模型的更新。更進(jìn)一步，可以考慮引入一個(gè)輔助智能體，采用不同的大語(yǔ)言模型，獨(dú)立承擔(dān)內(nèi)容相關(guān)性與適宜性的審查工作和糾偏工作，與本文所述的智能體協(xié)同作業(yè)，共同提升對(duì)話的準(zhǔn)確性和適宜性。

最后，需要警惕用戶(hù)故意誤導(dǎo)行為可能對(duì)系統(tǒng)造成的負(fù)面影響。這種誤導(dǎo)可能使大模型產(chǎn)生認(rèn)知偏差和幻覺(jué)，甚至被用戶(hù)同化，偏離小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)的設(shè)計(jì)初衷。為此，可考慮在智能體中引入誤導(dǎo)監(jiān)督機(jī)制，并在必要時(shí)進(jìn)行干預(yù)與叫停，以確保系統(tǒng)良性運(yùn)行，為用戶(hù)提供高質(zhì)量的學(xué)習(xí)體驗(yàn)。

結(jié)語(yǔ)

本文基于WebXR和AI智能體，設(shè)計(jì)了一款智能沉浸式小學(xué)英語(yǔ)情境化學(xué)習(xí)系統(tǒng)，所述方案均具備技術(shù)可行性，能夠?yàn)橄到y(tǒng)實(shí)際開(kāi)發(fā)提供具體可行的指導(dǎo)與遵循。伴隨AI技術(shù)的飛速發(fā)展，本系統(tǒng)也將在多方面進(jìn)行持續(xù)優(yōu)化，如在技術(shù)更加成熟時(shí)，可以根據(jù)場(chǎng)景主題和對(duì)話內(nèi)容，自動(dòng)生成3D場(chǎng)景和3D角色，從而為學(xué)習(xí)者帶來(lái)更加豐富的沉浸式學(xué)習(xí)體驗(yàn)。

參考文獻(xiàn)：

中華人民共和國(guó)教育部.義務(wù)教育英語(yǔ)課程標(biāo)準(zhǔn)（2022年版）[S].北京：北京師范大學(xué)出版社，2022.

本文系吉林省教育廳“十三五”社會(huì)科學(xué)項(xiàng)目資助課題“VR/AR技術(shù)賦能教育出版應(yīng)用模式研究及支撐平臺(tái)構(gòu)建”（課題編號(hào)：JJKH20200201SK）研究成果。