張毅，喬雪

（江西科技師范大學(xué)，江西 南昌 330038）

0 引 言

2021年1月，教育部制定了《普通高等學(xué)校本科教育教學(xué)審核評(píng)估實(shí)施方案（2021—2025年）》，為引導(dǎo)高校遵循教育規(guī)律，聚焦本科教育教學(xué)質(zhì)量，提出“綜合運(yùn)用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等現(xiàn)代信息技術(shù)手段，深度挖掘常態(tài)監(jiān)測(cè)數(shù)據(jù)，提高工作實(shí)效”。教學(xué)工作是學(xué)校所有工作的核心，學(xué)校要想很好地實(shí)現(xiàn)培養(yǎng)目標(biāo)，培養(yǎng)出合格的人才，就必須把教學(xué)工作放在首位，圍繞教學(xué)目標(biāo)安排其他工作。教學(xué)質(zhì)量是指教學(xué)水平的高低和教學(xué)效果的優(yōu)劣，或者說(shuō)是在一定時(shí)間內(nèi)和一定條件下，學(xué)生發(fā)展變化達(dá)到某一標(biāo)準(zhǔn)的程度。學(xué)校要想提高教學(xué)質(zhì)量，就要抓好教學(xué)工作，充分計(jì)劃、嚴(yán)格落實(shí)教學(xué)過(guò)程中的每一個(gè)環(huán)節(jié)。

然而，傳統(tǒng)的課堂教學(xué)過(guò)程中存在著非客觀記錄，學(xué)生的學(xué)習(xí)過(guò)程無(wú)法獲得如實(shí)記錄和精準(zhǔn)評(píng)價(jià)，導(dǎo)致課堂教學(xué)評(píng)價(jià)效果低下。“用戶畫(huà)像”技術(shù)能夠有效描述目標(biāo)用戶的顯著特征，有助于指導(dǎo)和優(yōu)化決策的制定和實(shí)施過(guò)程。因此，本文利用課堂教學(xué)過(guò)程中產(chǎn)生的多模態(tài)數(shù)據(jù)，將課堂教學(xué)過(guò)程數(shù)字化，為建立課堂教學(xué)精準(zhǔn)畫(huà)像提供數(shù)據(jù)支撐，為精準(zhǔn)教學(xué)服務(wù)提供參考借鑒。

1 基本理論研究

1.1 多模態(tài)數(shù)據(jù)

Nigay 和Coutaz 認(rèn)為，“多”的意思是“不止一個(gè)”，而術(shù)語(yǔ)“模態(tài)”則是指用于傳遞或獲取信息的通信類(lèi)型或通信渠道；鐘薇等將多模態(tài)數(shù)據(jù)分為生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和基本信息數(shù)據(jù)四類(lèi)。綜上所述，筆者認(rèn)為多模態(tài)數(shù)據(jù)是指具有不同數(shù)據(jù)結(jié)構(gòu)特征和形式的表意符號(hào)和信息，包括從視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等不同感知通道接收到的信息以及各種數(shù)據(jù)類(lèi)型（甚至來(lái)自不同數(shù)據(jù)庫(kù)）的組合。

學(xué)習(xí)是多模態(tài)的，因而利用單模態(tài)數(shù)據(jù)來(lái)描述教師研修的全部肖像是充滿困難的。多模態(tài)數(shù)據(jù)可以全面、準(zhǔn)確、真實(shí)地構(gòu)建教師畫(huà)像，克服單一視圖無(wú)法觀察全貌的局限性。通過(guò)智能系統(tǒng)、穿戴設(shè)備等途徑獲取多模態(tài)教學(xué)數(shù)據(jù)，使教育研究者能夠準(zhǔn)確找出課堂教學(xué)問(wèn)題，總結(jié)課堂教學(xué)經(jīng)驗(yàn)，使課堂教學(xué)方法更加科學(xué)有效。因此，相較于傳統(tǒng)課堂記錄的數(shù)據(jù)，本研究利用多模態(tài)數(shù)據(jù)多視角、全方位地構(gòu)建課堂教學(xué)畫(huà)像，提供更為科學(xué)直觀的教學(xué)診斷。

1.2 教學(xué)畫(huà)像

交互設(shè)計(jì)之父Alan Cooper 率先提出用戶畫(huà)像（Persona）的概念，他認(rèn)為用戶畫(huà)像是基于大量真實(shí)數(shù)據(jù)構(gòu)建出來(lái)的虛擬用戶模型。用戶畫(huà)像在電子商務(wù)領(lǐng)域的成功運(yùn)用，使得畫(huà)像技術(shù)延伸到“學(xué)習(xí)者畫(huà)像”“學(xué)生畫(huà)像”“教師畫(huà)像”等不同領(lǐng)域。

在學(xué)習(xí)者畫(huà)像領(lǐng)域，肖君等提出學(xué)習(xí)者畫(huà)像是用戶畫(huà)像在教育領(lǐng)域的應(yīng)用；王莎等認(rèn)為學(xué)習(xí)者畫(huà)像是對(duì)學(xué)習(xí)者教育信息的抽象概括。在教師畫(huà)像領(lǐng)域，胡小勇等提出通過(guò)數(shù)據(jù)挖掘技術(shù)，收集與教師教研緊密相關(guān)的數(shù)據(jù)來(lái)構(gòu)建表征教師特征、需求、偏好和行為的畫(huà)像模型；陳堯利用OP 算法和基于詞典的情感值匹配技術(shù)對(duì)學(xué)生評(píng)教文本數(shù)據(jù)進(jìn)行處理構(gòu)建教師畫(huà)像；方丹丹等基于特征工程理論為教師打標(biāo)簽，進(jìn)行教師畫(huà)像特征選擇。在教學(xué)畫(huà)像領(lǐng)域，喬雪在人工智能的背景下，提出利用數(shù)據(jù)驅(qū)動(dòng)的方法構(gòu)建課堂教學(xué)畫(huà)像的設(shè)想；陳小恩等利用學(xué)校網(wǎng)絡(luò)課程數(shù)據(jù)對(duì)教師教學(xué)特征進(jìn)行刻畫(huà)，還原教師教學(xué)的全部信息。

綜上，當(dāng)前的學(xué)者運(yùn)用用戶畫(huà)像技術(shù)在教育領(lǐng)域的相關(guān)研究主要集中在學(xué)習(xí)者畫(huà)像和教師畫(huà)像，而在教學(xué)畫(huà)像領(lǐng)域的研究還不夠深入。

2 教學(xué)畫(huà)像模型的構(gòu)建

畫(huà)像模型的構(gòu)建需要遵循相應(yīng)的流程。肖君等提出了基于xAPI 的在線學(xué)習(xí)者畫(huà)像來(lái)構(gòu)建框架，將構(gòu)建流程分為四個(gè)階段：畫(huà)像目標(biāo)、數(shù)據(jù)收集、畫(huà)像建模、畫(huà)像應(yīng)用與評(píng)價(jià)；胡小勇等提出的精準(zhǔn)教研視域下的教師畫(huà)像的邏輯實(shí)現(xiàn)框架，分為數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、畫(huà)像模型構(gòu)建、標(biāo)簽體系建立、畫(huà)像質(zhì)量評(píng)估和畫(huà)像精準(zhǔn)應(yīng)用六個(gè)階段。本文在前人研究的基礎(chǔ)上，基于多模態(tài)數(shù)據(jù)提出了“畫(huà)像目標(biāo)、數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、畫(huà)像模型確立、標(biāo)簽的形成、畫(huà)像應(yīng)用與評(píng)價(jià)”六個(gè)階段，如圖1所示。

圖1 教學(xué)畫(huà)像模型的構(gòu)建流程

2.1 畫(huà)像目標(biāo)

畫(huà)像目標(biāo)能夠指導(dǎo)整個(gè)畫(huà)像構(gòu)建流程的有序進(jìn)行。本文將教學(xué)畫(huà)像分為師生基本屬性、教學(xué)內(nèi)容屬性、教學(xué)行為屬性和教學(xué)心理屬性四個(gè)維度。通過(guò)對(duì)教學(xué)畫(huà)像的維度劃分，可以明確教學(xué)畫(huà)像的構(gòu)建目標(biāo)。

2.2 數(shù)據(jù)收集

師生基本屬性數(shù)據(jù)可以分別從教師信息管理系統(tǒng)和學(xué)生信息管理系統(tǒng)中獲取，包括性別、年齡、年級(jí)、學(xué)科等結(jié)構(gòu)化數(shù)據(jù)；教學(xué)內(nèi)容屬性數(shù)據(jù)包括學(xué)科類(lèi)別數(shù)據(jù)和課堂記錄數(shù)據(jù)，學(xué)科類(lèi)別數(shù)據(jù)可以從教務(wù)處的排課系統(tǒng)中獲取，課堂記錄數(shù)據(jù)包括教學(xué)過(guò)程中教師的PPT 內(nèi)容、板書(shū)、學(xué)生的課堂筆記等文本數(shù)據(jù)，這類(lèi)數(shù)據(jù)可以從教學(xué)平臺(tái)中獲?。唤虒W(xué)行為屬性數(shù)據(jù)包括師生教學(xué)互動(dòng)的音頻、視頻數(shù)據(jù)以及師生的面部表情和眼動(dòng)數(shù)據(jù)，可以利用電腦端的攝像頭和眼動(dòng)儀來(lái)收集教學(xué)行為數(shù)據(jù)；教學(xué)心理屬性數(shù)據(jù)包括教學(xué)過(guò)程中師生的情感、認(rèn)知、注意等心理活動(dòng)，這類(lèi)生理數(shù)據(jù)可以由腦波儀等生理儀器實(shí)時(shí)監(jiān)測(cè)得到。

2.3 數(shù)據(jù)預(yù)處理

由于收集到的多模態(tài)數(shù)據(jù)來(lái)自于不同的數(shù)據(jù)庫(kù)，獲取方式也不一樣，導(dǎo)致數(shù)據(jù)存在格式上的不統(tǒng)一、數(shù)值缺失和不規(guī)范等問(wèn)題，因此在構(gòu)建畫(huà)像模型之前有必要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。本文嘗試運(yùn)用五種數(shù)據(jù)預(yù)處理方式（包括數(shù)據(jù)清洗、離群點(diǎn)處理、缺失值處理、不一致數(shù)據(jù)處理、數(shù)據(jù)集成），最終得到干凈的數(shù)據(jù)便于后續(xù)的數(shù)據(jù)分析。

數(shù)據(jù)清洗包括不完整數(shù)據(jù)的清洗、錯(cuò)誤數(shù)據(jù)的清洗和重復(fù)數(shù)據(jù)的清洗。由于Hadoop 處理大數(shù)據(jù)的效率很高，本文采用Hadoop 的分布式數(shù)據(jù)清洗方法，先將數(shù)據(jù)存儲(chǔ)在HDFS，然后再將數(shù)據(jù)轉(zhuǎn)存至Hive 數(shù)據(jù)倉(cāng)庫(kù)，按照指定格式處理數(shù)據(jù)。在數(shù)據(jù)挖掘領(lǐng)域，離群點(diǎn)檢測(cè)算法是一種重要的異常檢測(cè)算法，基于E-PAC 的算法可以消除多模態(tài)數(shù)據(jù)中存在的冗余數(shù)據(jù)?？梢圆扇∮苫貧w模型和判別模型計(jì)算出來(lái)的值來(lái)代替缺失值。在實(shí)際的數(shù)據(jù)獲取過(guò)程中，可能會(huì)存在一些數(shù)據(jù)不一致的情況，這時(shí)需要對(duì)不一致的數(shù)據(jù)進(jìn)行清理。對(duì)不同來(lái)源的數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)時(shí)，可能會(huì)出現(xiàn)數(shù)據(jù)沖突問(wèn)題。本文基于輕量級(jí)的集成局部圖結(jié)構(gòu)LGS（local graph structure）和認(rèn)知特征提取框架，在對(duì)腦電信號(hào)等生理數(shù)據(jù)的識(shí)別上具有更好的集成效果。

2.4 畫(huà)像模型確立

畫(huà)像模型的確立需要對(duì)所收集的多模態(tài)數(shù)據(jù)進(jìn)行分析，從多個(gè)維度對(duì)畫(huà)像進(jìn)行劃分，為標(biāo)簽體系的形成和畫(huà)像評(píng)價(jià)奠定基礎(chǔ)?？梢越柚鷰熒緦傩詳?shù)據(jù)來(lái)了解師生的基本特征，此為教學(xué)特征畫(huà)像；教學(xué)內(nèi)容屬性數(shù)據(jù)和教學(xué)行為屬性數(shù)據(jù)，表征教師的授課能力和學(xué)生的學(xué)習(xí)能力，此為教學(xué)能力畫(huà)像；教學(xué)心理屬性數(shù)據(jù)展現(xiàn)了師生的情感、認(rèn)知和態(tài)度，此為教學(xué)體驗(yàn)畫(huà)像。本文提出的教學(xué)畫(huà)像模型如圖2所示。

圖2 教學(xué)畫(huà)像模型

2.5 標(biāo)簽的形成

教學(xué)畫(huà)像模型確立之后，針對(duì)該模型中的三個(gè)畫(huà)像構(gòu)建相應(yīng)的標(biāo)簽體系，如圖3所示。教學(xué)特征標(biāo)簽包括基本信息和教學(xué)信息，此為靜態(tài)標(biāo)簽。通過(guò)師生的基本特征，教師可以對(duì)不同性別、年齡、教育階段的學(xué)生進(jìn)行個(gè)性化教學(xué)，學(xué)生可以根據(jù)自己的喜好選擇授課教師；教學(xué)能力標(biāo)簽包括課堂交互和測(cè)驗(yàn)成績(jī)，此為動(dòng)態(tài)標(biāo)簽。交互數(shù)據(jù)和測(cè)試成績(jī)可以體現(xiàn)教師的教學(xué)能力和學(xué)生的學(xué)習(xí)能力，使師生為進(jìn)一步提高各自的能力水平而進(jìn)行總結(jié)和反思；教學(xué)體驗(yàn)標(biāo)簽包括師生之間相互的滿意度和興趣，此為動(dòng)態(tài)標(biāo)簽。心理數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)可以用來(lái)了解每一時(shí)刻師生的滿意程度和興趣，教師可以有針對(duì)性地對(duì)教學(xué)內(nèi)容和教學(xué)風(fēng)格進(jìn)行改進(jìn)，從而促進(jìn)學(xué)生的全面發(fā)展。

圖3 教學(xué)畫(huà)像標(biāo)簽體系

2.6 畫(huà)像應(yīng)用與評(píng)價(jià)

依據(jù)教學(xué)畫(huà)像模型的確立以及標(biāo)簽體系的形成，本文提出了面向?qū)W生個(gè)人畫(huà)像和教師畫(huà)像的應(yīng)用需求，如圖4所示。

圖4 教學(xué)畫(huà)像應(yīng)用

面向?qū)W生的個(gè)人畫(huà)像能夠幫助學(xué)生進(jìn)行自我監(jiān)測(cè)，及時(shí)調(diào)整自己的學(xué)習(xí)行為，提高學(xué)習(xí)效果。學(xué)生在實(shí)際的課堂中，依據(jù)其個(gè)人的標(biāo)簽，找到自己的不足，針對(duì)自己的薄弱環(huán)節(jié)進(jìn)行有針對(duì)性的練習(xí)，提高自己的學(xué)習(xí)成績(jī)。面向教師的畫(huà)像需要根據(jù)學(xué)生畫(huà)像進(jìn)行監(jiān)測(cè)，及時(shí)了解學(xué)生的學(xué)習(xí)情況，適時(shí)調(diào)整自己的教學(xué)策略。教師可以針對(duì)各個(gè)學(xué)生不同的學(xué)習(xí)情況，有針對(duì)性地提供個(gè)性化的教學(xué)服務(wù)。

教學(xué)畫(huà)像在實(shí)際的應(yīng)用過(guò)程中也會(huì)出現(xiàn)一些疏漏，而畫(huà)像的評(píng)價(jià)對(duì)畫(huà)像的精準(zhǔn)應(yīng)用有很大的幫助。畫(huà)像評(píng)價(jià)在整個(gè)畫(huà)像構(gòu)建流程中發(fā)揮著重要作用，畫(huà)像評(píng)價(jià)這一環(huán)節(jié)使整個(gè)畫(huà)像構(gòu)建流程形成一個(gè)閉環(huán)，讓畫(huà)像能夠得以不斷的更新和優(yōu)化，對(duì)畫(huà)像的每一個(gè)環(huán)節(jié)都具有促進(jìn)作用。

3 結(jié) 論

多模態(tài)數(shù)據(jù)能夠全方位、多維度、多視角地描述整個(gè)教學(xué)過(guò)程，不僅能夠幫助教師和學(xué)生了解自己的心理和狀態(tài)，也有助于師生在教學(xué)過(guò)程中相互磨合、友好協(xié)作。基于多模態(tài)數(shù)據(jù)的教學(xué)畫(huà)像為提高教學(xué)工作實(shí)效提供一種新的解決方案，然而針對(duì)教學(xué)畫(huà)像如何與實(shí)踐更好地結(jié)合還需要做進(jìn)一步的研究，這也將是后續(xù)研究工作的重要方向。