胡欽太 伍文燕 馮廣 潘庭鋒 邱凱星

[摘? ?要] 當(dāng)前，學(xué)習(xí)行為分析已成為研究熱點(diǎn)?；诖髷?shù)據(jù)技術(shù)挖掘?qū)W生的學(xué)習(xí)行為特征，能為學(xué)習(xí)過程的改善、學(xué)習(xí)評(píng)價(jià)的優(yōu)化提供重要依據(jù)。然而，現(xiàn)有研究卻存在分析數(shù)據(jù)類型單一、實(shí)時(shí)性不強(qiáng)、結(jié)果準(zhǔn)確度不高、缺乏可解釋性等問題。文章從利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)分析入手，采用HDRBM（Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機(jī)）神經(jīng)網(wǎng)絡(luò)模型，建立多模態(tài)學(xué)習(xí)分析模型，為教育技術(shù)領(lǐng)域中利用多模態(tài)大數(shù)據(jù)挖掘?qū)W習(xí)者行為特征提供了新范式;接著從可解釋性分析的角度，闡述利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)行為分析的算法設(shè)計(jì)與實(shí)現(xiàn)過程;通過實(shí)驗(yàn)表明，研究中所采用的方法與技術(shù)路線對(duì)提高學(xué)習(xí)行為分析的可解釋性有較好成效。

[關(guān)鍵詞] 深度學(xué)習(xí); 多模態(tài); 學(xué)習(xí)行為分析; 可解釋性

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 胡欽太（1964—），男，廣東惠來(lái)人。教授，主要從事教育技術(shù)學(xué)、智能信息技術(shù)與教育研究，E-mail：huqt8@gdut.edu.cn。伍文燕為通訊作者，E-mail：wuwy@gdut.edu.cn。

一、引? ?言

人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術(shù)的迅速發(fā)展和深入應(yīng)用，給社會(huì)各領(lǐng)域帶來(lái)了巨大的變革，同時(shí)也對(duì)教育教學(xué)產(chǎn)生了深遠(yuǎn)影響，推動(dòng)新時(shí)代智慧教育的產(chǎn)生與發(fā)展。當(dāng)前，基于智慧教育環(huán)境的研究重點(diǎn)逐漸從學(xué)習(xí)平臺(tái)開發(fā)、資源與內(nèi)容設(shè)計(jì)、傳統(tǒng)普適性研究、應(yīng)用模式與實(shí)證探究等轉(zhuǎn)向基于行為全過程分析的精準(zhǔn)助教與評(píng)價(jià)研究上。學(xué)生個(gè)體千差萬(wàn)別，其行為表現(xiàn)一定程度上反映了學(xué)生的學(xué)習(xí)風(fēng)格、心理特征和情感特征，通過智慧課堂感知系統(tǒng)、教學(xué)管理平臺(tái)采集學(xué)習(xí)行為過程數(shù)據(jù)，并通過大數(shù)據(jù)技術(shù)挖掘?qū)W生行為特征，能為學(xué)習(xí)過程的改善提供重要依據(jù)。

目前，已有的學(xué)習(xí)行為分析大多針對(duì)各類在線教學(xué)平臺(tái)采集的數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)來(lái)源單一、分析指標(biāo)簡(jiǎn)單，學(xué)生學(xué)習(xí)行為研究呈現(xiàn)較大的局限性和割裂感（如Abdelrahman等人[1]、Eradze等人[2]、姜強(qiáng)[3]、黃昌勤[4]等）。隨著傳感器、可穿戴設(shè)備、眼動(dòng)儀和腦電儀等智能信息技術(shù)的發(fā)展，學(xué)習(xí)分析領(lǐng)域有了新的突破，研究者逐漸意識(shí)到，只有盡可能捕捉學(xué)生學(xué)習(xí)全過程數(shù)據(jù)（包括聲音、視頻、表情、生理等多模態(tài)數(shù)據(jù)），才能更加全面準(zhǔn)確地了解學(xué)習(xí)過程，挖掘?qū)W生學(xué)習(xí)規(guī)律，拓寬學(xué)習(xí)行為分析研究的深度與廣度，多模態(tài)學(xué)習(xí)分析研究應(yīng)運(yùn)而生。

多模態(tài)學(xué)習(xí)分析通過語(yǔ)音、圖形圖像、肢體與面部表情等識(shí)別技術(shù)，充分捕捉或感知各種信息，通過對(duì)這些多模態(tài)數(shù)據(jù)的統(tǒng)一表征，從而更準(zhǔn)確地判定學(xué)情[5]。國(guó)內(nèi)主要以北京師范大學(xué)、華東師范大學(xué)、華南師范大學(xué)等師范大學(xué)研究團(tuán)隊(duì)為主，從學(xué)習(xí)科學(xué)的角度進(jìn)行多模態(tài)學(xué)習(xí)分析，研究主要集中于理論探討（如穆肅[6] 、汪維富[7]）、框架搭建（如周進(jìn)[8]、張琪[9]、牟智佳[10]、李卿[11]等），較少?gòu)挠?jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)等視角將理論應(yīng)用于實(shí)踐，深化研究。

國(guó)外有關(guān)多模態(tài)學(xué)習(xí)分析的研究較國(guó)內(nèi)成熟，研究多結(jié)合機(jī)器學(xué)習(xí)方法，圍繞學(xué)習(xí)行為建模、模態(tài)傳感器建模、算法模型以及新技術(shù)的介入等形成系列研究。如挪威科學(xué)技術(shù)大學(xué)的研究者收集了自適應(yīng)學(xué)習(xí)活動(dòng)中學(xué)習(xí)者的多模態(tài)數(shù)據(jù)，并采用模糊集定性比較分析（fsQCA）方法來(lái)描述學(xué)習(xí)者參與模式與學(xué)習(xí)績(jī)效的關(guān)系[12]。Vicente等人提出了基于物聯(lián)網(wǎng)技術(shù)和可穿戴設(shè)備實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)的可穿戴教育物聯(lián)網(wǎng)（WIoTED）系統(tǒng)，并使用機(jī)器學(xué)習(xí)技術(shù)和多模態(tài)學(xué)習(xí)分析方法來(lái)構(gòu)建能夠“解釋”學(xué)生參與度的模型。該研究基于一組相關(guān)變量選擇決策樹和規(guī)則系統(tǒng)，獲得的規(guī)則很容易被非專業(yè)人士解釋[13]。

學(xué)習(xí)分析多考慮數(shù)據(jù)的“源息性”問題，收集哪些數(shù)據(jù)、采用何種方法分析以全面、準(zhǔn)確地體現(xiàn)學(xué)習(xí)者的全部特性[14]?？梢?，學(xué)習(xí)分析多關(guān)注數(shù)據(jù)的準(zhǔn)確性、全面性，而可解釋性在傳統(tǒng)技術(shù)上很難實(shí)現(xiàn)，近幾年才越來(lái)越受到關(guān)注?？山忉屝?，是指可以在觀察的基礎(chǔ)上進(jìn)行思考，最終合理地得出事物變化的原因、事物之間的聯(lián)系和事物發(fā)展的規(guī)律的一種性質(zhì)。如Kaur等人采用局部可解釋不可知模型（LIME），通過在本地訓(xùn)練可解釋模型，以可解釋的方式分析預(yù)測(cè)模型[15]。有研究者采用LSA（滯后序列分析法）[16]、K-Means算法[17]等解釋了學(xué)習(xí)行為與學(xué)習(xí)成績(jī)之間的變化關(guān)系，有助于研究者對(duì)學(xué)習(xí)行為的過程與機(jī)理的了解。

本研究基于多模態(tài)數(shù)據(jù)（包括各類學(xué)習(xí)平臺(tái)、教室視像信息和各種傳感器信息等），將最大限度采集發(fā)生在各種時(shí)空維度割裂的學(xué)習(xí)行為數(shù)據(jù)結(jié)合關(guān)聯(lián)起來(lái)，以教育心理學(xué)和行為科學(xué)為依據(jù)，構(gòu)建能更貼近真實(shí)的學(xué)習(xí)情境的學(xué)習(xí)行為數(shù)據(jù)模型。然后在數(shù)據(jù)模型上提高數(shù)據(jù)分析的可解釋性，使得人們不僅知道分析的結(jié)果，也清楚結(jié)果產(chǎn)生的原因，從而更有針對(duì)性地為學(xué)生提供指導(dǎo)與幫助，進(jìn)而提高學(xué)生學(xué)習(xí)成效。

二、基于深度學(xué)習(xí)算法的多模態(tài)

學(xué)習(xí)行為數(shù)據(jù)分析模型研究

學(xué)習(xí)行為分析是一個(gè)復(fù)雜的高維的分析過程，傳統(tǒng)分析方法對(duì)多模態(tài)數(shù)據(jù)分析比較困難，大數(shù)據(jù)與智能算法的出現(xiàn)，給學(xué)生學(xué)習(xí)特征分析、教育大數(shù)據(jù)挖掘提供了新方法。本文提出利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)分析，為教育技術(shù)領(lǐng)域中利用多模態(tài)教育大數(shù)據(jù)挖掘?qū)W習(xí)者行為特征提供了新范式。

（一）深度學(xué)習(xí)支持下的學(xué)習(xí)行為分析模型設(shè)計(jì)

深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過程中獲得的信息對(duì)文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。構(gòu)建面向多模態(tài)學(xué)習(xí)行為數(shù)據(jù)的大數(shù)據(jù)采集框架，采集實(shí)時(shí)的課堂、實(shí)驗(yàn)室和教學(xué)平臺(tái)等時(shí)序多模態(tài)數(shù)據(jù)，根據(jù)數(shù)據(jù)模態(tài)特征及因素特點(diǎn)，對(duì)多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行清洗與預(yù)處理，再使用智能算法進(jìn)行淺層特征分析，然后將他們進(jìn)行歸一化與深度融合。依據(jù)高維數(shù)據(jù)處理需求構(gòu)建一種新型的流形深度學(xué)習(xí)分析模型，對(duì)深度融合的多模態(tài)數(shù)據(jù)進(jìn)行分析。鑒于HDRBM（Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機(jī)）神經(jīng)網(wǎng)絡(luò)具有降維、分類、回歸、協(xié)同過濾、特征學(xué)習(xí)以及主題建模等優(yōu)勢(shì)，集合了目前主流深度學(xué)習(xí)的特征提取、高精度和速度等優(yōu)點(diǎn)，是目前最適合處理多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)框架。因此，本研究中運(yùn)用HDRBM神經(jīng)網(wǎng)絡(luò)處理智慧學(xué)習(xí)環(huán)境下多模態(tài)學(xué)習(xí)行為數(shù)據(jù)，以此建立多模態(tài)學(xué)習(xí)行為分析模型（如圖1所示），并進(jìn)行學(xué)習(xí)者行為特征分析。

1. 多模態(tài)數(shù)據(jù)獲取

數(shù)據(jù)是學(xué)習(xí)行為分析的基礎(chǔ)，相比于單模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)來(lái)源多樣化、格式不統(tǒng)一、關(guān)系與結(jié)構(gòu)復(fù)雜，給數(shù)據(jù)采集與分析帶來(lái)了很大的困難。本研究中按照數(shù)據(jù)所攜帶信息的特性對(duì)多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行采集，包括生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和混合型數(shù)據(jù)四類，如圖2所示。

混合型數(shù)據(jù)。對(duì)教學(xué)管理平臺(tái)存儲(chǔ)的數(shù)據(jù)可使用日志搜索技術(shù)采集學(xué)習(xí)者點(diǎn)擊流、測(cè)驗(yàn)等數(shù)據(jù)，獲得使用者在平臺(tái)中留下的學(xué)習(xí)行為痕跡，主要包括瀏覽課件次數(shù)、互動(dòng)頻率、錯(cuò)題、測(cè)驗(yàn)成績(jī)等數(shù)據(jù)，這些數(shù)據(jù)皆來(lái)自于教學(xué)平臺(tái)的存儲(chǔ)。通過傳感技術(shù)等獲得學(xué)習(xí)地理位置、時(shí)間、濕度、溫度等基本情境信息，以及學(xué)習(xí)者的活動(dòng)數(shù)據(jù)等。

圖2? ?多模態(tài)學(xué)習(xí)行為數(shù)據(jù)分類

生理層數(shù)據(jù)。采用生物數(shù)據(jù)采集技術(shù)采集學(xué)生的眼動(dòng)頻率、腦電波、心電、皮膚電反應(yīng)等神經(jīng)生物層面的數(shù)據(jù)，這些數(shù)據(jù)能反映學(xué)生的情緒及身體健康狀態(tài);采用物聯(lián)網(wǎng)感知技術(shù)和可穿戴設(shè)備采集學(xué)習(xí)者的體溫、血壓、心率等人體體征數(shù)據(jù)，以了解學(xué)習(xí)者的專注度、活躍度等信息。

心理層數(shù)據(jù)。采用網(wǎng)絡(luò)爬蟲技術(shù)獲取學(xué)習(xí)平臺(tái)中的非結(jié)構(gòu)化數(shù)據(jù)，如學(xué)習(xí)者在討論區(qū)發(fā)布的評(píng)論等;采用情感識(shí)別技術(shù)獲取學(xué)習(xí)者和教學(xué)者的面部表情等情感信息;采用自動(dòng)識(shí)別等語(yǔ)音識(shí)別技術(shù)采集學(xué)習(xí)者和教學(xué)者的話語(yǔ)內(nèi)容。

行為層數(shù)據(jù)。通過校園一卡通分析學(xué)習(xí)者在校園內(nèi)的各類活動(dòng)情況，比如進(jìn)出圖書館次數(shù)、借書頻率等;采用智能錄播技術(shù)采集課堂教學(xué)數(shù)據(jù)，如教師行為、學(xué)生行為等;通過網(wǎng)評(píng)網(wǎng)閱技術(shù)分析學(xué)習(xí)者的知識(shí)薄弱點(diǎn);使用點(diǎn)陣數(shù)碼比技術(shù)對(duì)學(xué)習(xí)者的手寫文本數(shù)據(jù)進(jìn)行實(shí)時(shí)采集;使用拍照搜題技術(shù)獲取學(xué)習(xí)者測(cè)驗(yàn)、作業(yè)情況等數(shù)據(jù)。

2. 基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)行為分析過程

基于已獲取的多模態(tài)數(shù)據(jù)，利用深度學(xué)習(xí)算法進(jìn)行學(xué)習(xí)行為分析，包括兩個(gè)方面的內(nèi)容：

第一方面是淺層特征分析。根據(jù)上面的描述，多模態(tài)數(shù)據(jù)包括混合型數(shù)據(jù)、生理層數(shù)據(jù)、心理層數(shù)據(jù)以及行為層數(shù)據(jù)。我們首先對(duì)這些數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)制和數(shù)據(jù)載入等預(yù)處理;然后根據(jù)不同模態(tài)的數(shù)據(jù)的不同表示方式，采用對(duì)應(yīng)的深度學(xué)習(xí)算法進(jìn)行特征提取。例如，跨專業(yè)教學(xué)過程中產(chǎn)生的數(shù)據(jù)，對(duì)學(xué)習(xí)結(jié)果的影響是非線性的，存在線性不可分的特點(diǎn)，而BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的模式分類和多維函數(shù)映射能力，因此使用BP神經(jīng)網(wǎng)絡(luò)來(lái)提取混合型數(shù)據(jù)的淺層特征;生理層數(shù)據(jù)、心理層數(shù)據(jù)以及行為層數(shù)據(jù)，這些數(shù)據(jù)是由各種傳感器進(jìn)行采集，數(shù)據(jù)之間存在前后依賴關(guān)系和有序關(guān)系，而LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，專門用以解決數(shù)據(jù)之間的長(zhǎng)期依賴問題，因此采用LSTM網(wǎng)絡(luò)對(duì)這三種數(shù)據(jù)進(jìn)行淺層提取。

第二方面是隱含特征分析。首先獲取淺層特征的學(xué)習(xí)概率分布，充分利用多模態(tài)數(shù)據(jù)的特點(diǎn)以及玻爾茲曼機(jī)學(xué)習(xí)算法的特點(diǎn)，設(shè)計(jì)出新的混合判別受限玻爾茲曼機(jī)（HDRBM），通過輸入的淺層特征來(lái)學(xué)習(xí)概率分布;其次，建立基于多模態(tài)數(shù)據(jù)與半監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)體系框架;最后是設(shè)計(jì)響應(yīng)的玻爾茲曼機(jī)，根據(jù)具體的研究方案，突破已有的研究中只使用單模態(tài)數(shù)據(jù)進(jìn)行分析的局限性，在高維的多模態(tài)數(shù)據(jù)特征中挖掘出用戶隱含的心理、情感等特征以及這些特征之間的聯(lián)系。

（二）多模態(tài)學(xué)習(xí)行為數(shù)據(jù)分析算法設(shè)計(jì)與實(shí)現(xiàn)

多模態(tài)學(xué)習(xí)行為數(shù)據(jù)分析首先是采用不同的深度學(xué)習(xí)算法對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行淺層特征分析，然后把淺層特征進(jìn)行歸一化與融合，獲得全局淺層特征表達(dá)，作為隱含特征分析的輸入，最后采用HDRBM深度學(xué)習(xí)網(wǎng)絡(luò)獲得隱含特征。

1. 多模態(tài)數(shù)據(jù)的獲取與歸一化

多模態(tài)深度學(xué)習(xí)方法是一類充分利用多種模態(tài)數(shù)據(jù)進(jìn)行對(duì)應(yīng)深度表示特征學(xué)習(xí)的方法。針對(duì)不同模態(tài)的數(shù)據(jù)，首先進(jìn)行數(shù)據(jù)清洗。對(duì)于文本類信息，采用去除停用詞、標(biāo)點(diǎn)符號(hào)、空白符以及特殊字符等操作，然后對(duì)詞干進(jìn)行強(qiáng)化，通過N-Gram分析將字符按照最小單元分割為連續(xù)字串;對(duì)于視像信息，根據(jù)環(huán)境光線、鏡頭灰塵以及傳輸信號(hào)丟失程度等因素進(jìn)行圖像增強(qiáng)處理，包括但不限于白平衡、伽馬矯正和小波變換增強(qiáng)等;對(duì)于傳感器時(shí)間序號(hào)信息，通過高低通濾波和凹陷濾波等對(duì)信號(hào)進(jìn)行過濾，對(duì)數(shù)據(jù)不好的進(jìn)行插值處理等操作。

經(jīng)過若干操作的數(shù)據(jù)清洗后，將清洗后的數(shù)據(jù)輸入到相應(yīng)模態(tài)的深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行歸一化，最后采用特征堆疊的方式融合各個(gè)模態(tài)的局部特征，從而獲得更具魯棒性和區(qū)分性的全局淺層特征表達(dá)，作為玻爾茲曼機(jī)的標(biāo)準(zhǔn)輸入。

將不同模態(tài)數(shù)據(jù)通過對(duì)應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)映射到深層的同一個(gè)融合層中，此方法將跨模態(tài)數(shù)據(jù)的淺層特征提取到同一個(gè)框架下進(jìn)行歸一化?，F(xiàn)有的BP網(wǎng)絡(luò)、計(jì)算機(jī)視覺和LSTM等為本文深入研究提供了大量研究方法，通過修改不同模態(tài)對(duì)應(yīng)網(wǎng)絡(luò)的優(yōu)化方法和激活函數(shù)等超參數(shù)，構(gòu)建基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)方法。

2. 基于HDRBM的學(xué)習(xí)行為特征提取

在上一個(gè)環(huán)節(jié)中，多模態(tài)數(shù)據(jù)通過對(duì)若干個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)獲得同一映射后，為了根據(jù)這一映射進(jìn)一步提取高維特征，采用判別受限玻爾茲曼機(jī)和生成受限玻爾茲曼機(jī)的結(jié)合，即深度混合判別受限玻爾茲曼機(jī)（HDRBM，Hybrid Deep Restricted Boltzmann Machine）。生成模型可以解決訓(xùn)練數(shù)據(jù)集數(shù)量較少的問題，在少量數(shù)據(jù)集情況下的效果要好于分類問題中使用的判別模型，但隨著多模態(tài)數(shù)據(jù)不斷增加，在擁有大量訓(xùn)練數(shù)據(jù)的情況下，判別模型好于生成模型。為了兼顧兩者的優(yōu)勢(shì)，本研究擬在多模態(tài)深度學(xué)習(xí)建模中混合組成生成受限玻爾茲曼機(jī)和判別受限玻爾茲曼機(jī)，組成混合判別受限玻爾茲曼機(jī)，并依此設(shè)計(jì)相應(yīng)的多模態(tài)神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)和優(yōu)化途徑。

對(duì)于訓(xùn)練集Dtrain，生成玻爾茲曼機(jī)以最小化負(fù)對(duì)數(shù)似然為目標(biāo)函數(shù)，即最小化目標(biāo)函數(shù)：

生成玻爾茲曼機(jī)能得到學(xué)習(xí)行為特征與學(xué)習(xí)評(píng)價(jià)之間的聯(lián)合概率分布。判別玻爾茲曼機(jī)能夠?qū)斎氲膶W(xué)習(xí)行為特征進(jìn)行精準(zhǔn)的學(xué)習(xí)評(píng)價(jià)標(biāo)注，考慮負(fù)對(duì)數(shù)似然，目標(biāo)函數(shù)為：

為了既能適應(yīng)前期數(shù)據(jù)量較少的情況，又能滿足日后數(shù)據(jù)集充足情況下對(duì)性能的要求，結(jié)合（1）（2）的目標(biāo)函數(shù)，混合判別受限玻爾茲曼機(jī)的目標(biāo)函數(shù)為：

其中，可調(diào)參數(shù)α表示生成模型對(duì)于整個(gè)模型的影響比重。若α較大，則更偏重生成玻爾茲曼機(jī);反之，則偏重于判別玻爾茲曼機(jī)。對(duì)于實(shí)驗(yàn)中α的選取，我們借鑒在強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）中成熟且廣泛運(yùn)用的e-greedy策略，使得混合判別受限玻爾茲曼機(jī)可以在數(shù)據(jù)集增多時(shí)自動(dòng)降低生成模型對(duì)整個(gè)模型的影響比重，從而獲取更為靈活、更為準(zhǔn)確的模型效果。

另一方面，在玻爾茲曼機(jī)訓(xùn)練時(shí)，隨著網(wǎng)絡(luò)層數(shù)的增加，會(huì)出現(xiàn)梯度不穩(wěn)定場(chǎng)景，比如梯度彌散和梯度爆炸問題，在靠近輸入層的隱藏層中或會(huì)消失，或會(huì)爆炸。為此，我們引入批歸一化（Batch Normalization， BN）方法來(lái)規(guī)避梯度彌散問題，它應(yīng)用于每層激活函數(shù)之前，就是做均值和方差歸一化，對(duì)于每一批次數(shù)據(jù)還作放大、縮小、平移，為了梯度下降的時(shí)候收斂速度更快。另外，在前期數(shù)據(jù)集數(shù)量較少且網(wǎng)絡(luò)層數(shù)較多的情況下，很容易使整個(gè)模型產(chǎn)生過擬合的現(xiàn)象，因此引入神經(jīng)網(wǎng)絡(luò)中常用的Dropout策略，以提高模型的泛化性能。在訓(xùn)練過程中，Dropout策略會(huì)把一層單元中的一部分隨機(jī)置0，也就相當(dāng)于舍棄該單元與下一層神經(jīng)元的連接，以此降低模型過擬合的概率。

三、學(xué)習(xí)行為可解釋性分析研究

以上基于深度學(xué)習(xí)的多模態(tài)學(xué)習(xí)行為分析，能保證分析的精度。然而，深度學(xué)習(xí)模型是黑盒模型，解釋性比較差，因此，對(duì)于影響因素分析和相關(guān)性分析等所需的解釋性工作需要有更進(jìn)一步的設(shè)計(jì)，從而建立學(xué)習(xí)行為與特征之間的因果關(guān)系，得出不同的行為對(duì)特征的貢獻(xiàn)度，增加結(jié)果的準(zhǔn)確度與師生的滿意度。

貝葉斯網(wǎng)絡(luò)在基于概率計(jì)算的基礎(chǔ)上，其概率圖模型能清晰描述多個(gè)變量間的依賴關(guān)系，找出影響學(xué)習(xí)成績(jī)的因素。聯(lián)合樹推理算法，能幫助在現(xiàn)有結(jié)果情況下進(jìn)一步探究各因素影響的程度。因此，采用貝葉斯網(wǎng)絡(luò)進(jìn)行建模，在已構(gòu)建的多模態(tài)數(shù)據(jù)中找出影響學(xué)習(xí)成績(jī)的各個(gè)因素，最后通過聯(lián)合樹推理計(jì)算各因素的影響度。

（一）基于貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)因果關(guān)系分析

1. 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)

為挖掘?qū)W習(xí)成績(jī)和多模態(tài)數(shù)據(jù)特征間的因果關(guān)系，構(gòu)建雙層貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。

圖3? ?貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)是通過分析樣本數(shù)據(jù)集，獲得先驗(yàn)信息，進(jìn)而求得各個(gè)節(jié)點(diǎn)之間的相互關(guān)系，并建立相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)主要分為兩大類，分別是基于評(píng)分搜索的方法和基于依賴統(tǒng)計(jì)分析的方法，其中前者過程簡(jiǎn)單且規(guī)范，因此較為常用。評(píng)分函數(shù)用以評(píng)價(jià)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與樣本集數(shù)據(jù)集擬合的程度，評(píng)分函數(shù)會(huì)基于一個(gè)空白的網(wǎng)絡(luò)，按照節(jié)點(diǎn)次序遍歷待求節(jié)點(diǎn)前面的所有節(jié)點(diǎn)，隨后選擇后驗(yàn)概率值最大的節(jié)點(diǎn)作為該節(jié)點(diǎn)的父節(jié)點(diǎn)，然后通過有向邊相連，一直遍歷直到網(wǎng)絡(luò)構(gòu)建完成。常用的評(píng)分函數(shù)如公式（4）所示：

上式中，D為數(shù)據(jù)集，G為拓?fù)浣Y(jié)構(gòu)，n為節(jié)點(diǎn)數(shù)，Γ（α■）為伽馬函數(shù)，ri表示節(jié)點(diǎn)Xi的狀態(tài)數(shù)，αij=∑kαijk，qi表示節(jié)點(diǎn)Xi的父節(jié)點(diǎn)的所有取值組合。Nijk表示當(dāng)節(jié)點(diǎn)值為k時(shí)，其父節(jié)點(diǎn)狀態(tài)值為j所對(duì)應(yīng)的樣本數(shù)。

2. 貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)

通過結(jié)構(gòu)學(xué)習(xí)算法學(xué)習(xí)完貝葉斯網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)后，接下來(lái)需要使用參數(shù)學(xué)習(xí)算法對(duì)貝葉斯網(wǎng)絡(luò)的參數(shù)進(jìn)行學(xué)習(xí)，也就是求出變量相對(duì)于父節(jié)點(diǎn)的條件概率分布，作為后序推斷的先驗(yàn)信息。若變量服從貝葉斯分布，則貝葉斯參數(shù)先驗(yàn)分布如下：

通過貝葉斯公式習(xí)得網(wǎng)絡(luò)參數(shù)，將先驗(yàn)信息和樣本數(shù)據(jù)集D有機(jī)結(jié)合起來(lái)，有效提高了參數(shù)學(xué)習(xí)的精度。

向量V=（v1，v2，…，v5）表示變量集，vi依次表示混合數(shù)據(jù)特征、生理數(shù)據(jù)特征、心理數(shù)據(jù)特征、行為數(shù)據(jù)特征以及學(xué)習(xí)情境元素，選取n組可觀察的數(shù)據(jù)集X={x1，x2，…，xn}進(jìn)行訓(xùn)練，得出變量V和學(xué)習(xí)行為評(píng)價(jià)間的因果關(guān)系。采用基于約束的方法進(jìn)行貝葉斯模型訓(xùn)練后，即可構(gòu)建出高維變量的因果網(wǎng)絡(luò)，即基于因果關(guān)系的貝葉斯網(wǎng)絡(luò)模型（如圖4所示）。

（二）基于聯(lián)合樹算法的影響度判別

聯(lián)合樹算法（Junction Tree）是現(xiàn)在比較流行的效率較高的貝葉斯分析算法的一種，可以把貝葉斯網(wǎng)絡(luò)轉(zhuǎn)換成相應(yīng)的聯(lián)合樹結(jié)構(gòu)。在本研究中，通過聯(lián)合樹算法，把學(xué)習(xí)到的貝葉斯網(wǎng)絡(luò)以及相關(guān)參數(shù)進(jìn)行分析與推理，就可以得出學(xué)習(xí)行為對(duì)最終學(xué)習(xí)評(píng)價(jià)結(jié)果的影響。算法流程如圖5所示，具體表示如下：

1. 生成Moral圖

對(duì)圖中的每一個(gè)節(jié)點(diǎn)X，將他們的父節(jié)點(diǎn)用無(wú)向邊連接在一起，然后將圖中所有的有向邊改成無(wú)向邊。新添加的邊被稱為Moral邊。

2. Moral圖的三角化

通過添加邊來(lái)使Moral圖中不存在超過3個(gè)點(diǎn)的環(huán)，從而得到三角化圖。

3. 找出所有子團(tuán)

步驟2中生成的三角圖中的極大完全子圖就是子團(tuán)，找出三角圖中所有的子團(tuán)。

4. 建立聯(lián)合樹

建立的聯(lián)合樹會(huì)包括所有的團(tuán)節(jié)點(diǎn)，并且他們之間的交集作為連接兩個(gè)團(tuán)節(jié)點(diǎn)的分隔節(jié)點(diǎn)。

聯(lián)合樹推理分為三個(gè)步驟：初始化、消息傳播和計(jì)算推理結(jié)果。初始化就是將貝葉斯網(wǎng)絡(luò)中的條件概率表轉(zhuǎn)換到聯(lián)合樹中，通過分布函數(shù)φ_c把節(jié)點(diǎn)中所有變量的取值映射到0～1之間。消息傳播包括證據(jù)收集和證據(jù)擴(kuò)散兩個(gè)階段，前者消息自底向上傳播，后者信息自頂向下傳播。計(jì)算推理結(jié)果階段可以通過分布函數(shù)φ_c計(jì)算在當(dāng)前證據(jù)下任意隨機(jī)變量的概率分布。

推斷的意義在于根據(jù)證據(jù)求出條件概率、聯(lián)合概率、后驗(yàn)概率以及最大可能后驗(yàn)概率，進(jìn)而對(duì)未知事件的發(fā)生與否進(jìn)行判定，具有高度的可解釋性。條件概率可以由原因推知結(jié)論，根據(jù)已知的原因（證據(jù)），從而求出在該原因下結(jié)果發(fā)生的概率。后驗(yàn)概率可以實(shí)現(xiàn)診斷推理，在已知結(jié)果時(shí)，找出產(chǎn)生該結(jié)果的原因所對(duì)應(yīng)的概率。最大可能后驗(yàn)概率則是在當(dāng)前證據(jù)下，最后可能出現(xiàn)的結(jié)果。概率可以表示特征變量與結(jié)果之間的影響程度。

四、學(xué)習(xí)行為可解釋性分析機(jī)制的效果驗(yàn)證

本研究對(duì)UCI公開學(xué)生在線學(xué)習(xí)行為數(shù)據(jù)集xAPI-Edu-Data進(jìn)行研究，數(shù)據(jù)集包含了學(xué)生成績(jī)相關(guān)的17個(gè)變量，數(shù)據(jù)集的大小為：480條。應(yīng)用貝葉斯網(wǎng)絡(luò)和聯(lián)合樹算法推理學(xué)生學(xué)習(xí)行為對(duì)學(xué)習(xí)成績(jī)的影響程度（見表1和表2的條件概率表所示）[18]，在保證有效性的基礎(chǔ)上表現(xiàn)出較好的可解釋性，與多項(xiàng) logistic 模型相比貝葉斯網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果平均絕對(duì)誤差值更?。ㄘ惾~斯網(wǎng)絡(luò)：多項(xiàng)logistic模型 = 0.0007：0.0131），學(xué)習(xí)精度更高，說明本研究模型更加有效。推理結(jié)果指出，在6種收集的在線學(xué)習(xí)行為特征中，有5個(gè)因素對(duì)學(xué)生在線學(xué)習(xí)成績(jī)產(chǎn)生影響，其中直接影響因素有學(xué)生瀏覽在線課件次數(shù)以及學(xué)生缺席天數(shù)，間接影響有舉手次數(shù)、瀏覽學(xué)校公告次數(shù)和課堂討論次數(shù)。

五、結(jié)? ?語(yǔ)

隨著智能信息技術(shù)的新發(fā)展，學(xué)習(xí)分析迎來(lái)了新的發(fā)展春天，以往的學(xué)習(xí)分析數(shù)據(jù)往往只來(lái)源于在線學(xué)習(xí)平臺(tái)，數(shù)據(jù)來(lái)源單一、結(jié)構(gòu)簡(jiǎn)單，然而學(xué)生的學(xué)習(xí)不僅發(fā)生在線上，也發(fā)生在實(shí)際物理學(xué)習(xí)空間中，因此，采集來(lái)自多種途徑的數(shù)據(jù)源，分析多模態(tài)數(shù)據(jù)能更全面、準(zhǔn)確地把握學(xué)生的學(xué)習(xí)狀態(tài)。著眼于數(shù)據(jù)分析的可解釋性，本研究利用大數(shù)據(jù)技術(shù)，采用深度學(xué)習(xí)算法對(duì)多模態(tài)數(shù)據(jù)進(jìn)行分析與建模，在特征分析的基礎(chǔ)上，利用貝葉斯因果分析法對(duì)影響學(xué)習(xí)者學(xué)習(xí)成績(jī)的要素進(jìn)行歸因分析，以找出影響學(xué)習(xí)成績(jī)的核心要素，并采用聯(lián)合樹算法對(duì)各要素的影響程度進(jìn)行判別。最后，本研究設(shè)計(jì)了一系列實(shí)驗(yàn)，分別從學(xué)生瀏覽在線課件次數(shù)、學(xué)生缺席天數(shù)、舉手次數(shù)、瀏覽學(xué)校公告次數(shù)和課堂討論次數(shù)等對(duì)學(xué)習(xí)成績(jī)的影響進(jìn)行驗(yàn)證，結(jié)果表明本研究所采用的算法能在保證有效性的基礎(chǔ)上表現(xiàn)出較好的可解釋性。

[參考文獻(xiàn)]

[1] ABDELRAHMAN Y， VELLOSO E， DINGLER T， et al. Cognitive heat：exploring the usage of thermal imaging to unobtrusively estimate cognitive load[J].Mobile，wearable and ubiquitous technologies，2017，1（3）：1-20.

[2] ERADZE M， LAANPERE M. Lesson observation data in learning analytics datasets observata[C]// Proceedings of the 12th European Conference on Technology-Enhanced Learning.Tallinn：Estonia， 2017：504-508.

[3] 姜強(qiáng)，趙蔚，王朋嬌，王麗萍.基于大數(shù)據(jù)的個(gè)性化自適應(yīng)在線學(xué)習(xí)分析模型及實(shí)現(xiàn)[J]. 中國(guó)電化教育，2015（1）：85-92.

[4] 黃昌勤，朱寧，黃瓊浩，韓中美.支持個(gè)性化學(xué)習(xí)的行為大數(shù)據(jù)可視化研究[J]. 開放教育研究，2019，25（2）：53-64.

[5] 陳凱泉，張春雪，吳玥玥，劉璐. 教育人工智能（EAI）中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J]. 遠(yuǎn)程教育雜志，2019，37（5）：24-34.

[6] 穆肅，崔萌，黃曉地. 全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法[J]. 現(xiàn)代遠(yuǎn)程教育研究，2021，33（1）：26-37，48.

[7] 汪維富，毛美娟. 多模態(tài)學(xué)習(xí)分析：理解與評(píng)價(jià)真實(shí)學(xué)習(xí)的新路向[J]. 電化教育研究，2021，42（2）：25-32.

[8] 周進(jìn)，葉俊民，李超. 多模態(tài)學(xué)習(xí)情感計(jì)算：動(dòng)因、框架與建議[J]. 電化教育研究，2021，42（7）：26-32，46.

[9] 張琪，李福華，孫基男. 多模態(tài)學(xué)習(xí)分析：走向計(jì)算教育時(shí)代的學(xué)習(xí)分析學(xué)[J]. 中國(guó)電化教育，2020（9）：7-14，39.

[10] 牟智佳. 多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長(zhǎng)點(diǎn)[J].電化教育研究，2020，41（5）：27-32，51.

[11] 李卿，任緣，黃田田，劉三女牙，屈杰. 基于傳感數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用研究[J]. 電化教育研究，2019，40（5）：64-71.

[12] PAPAMITSIOU Z， PAPPAS I O， SHARMA K， et al. Utilizing multimodal data through fsQCA to explain engagement in adaptive learning[J]. IEEE transactions on learning technologies， 2020， 13（4）： 689-703.

[13] CAMACHO V L， GUIA E D L，et al. Data capture and multimodal learning analytics focused on engagement with a new wearable IoT approach[J]. IEEE transactions on learning technologies， 2020， 13（4）： 704-717.

[14] 鐘薇，李若晨，馬曉玲，吳永和. 學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國(guó)遠(yuǎn)程教育，2018（11）：41-49，79-80.

[15] KAUR， HARMANPREET， et al. Interpreting interpretability： understanding data scientists' use of interpretability tools for machine learning[C]// Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020：1-14.

[16] XINYU Y， BOHONG L， MENGHUA C， et al.Analyzing student behavior in online programming courses[J].計(jì)算機(jī)教育，2018（12）：48-56.

[17] BIENTZLE M， HIRCIN E， KIMMERLE J， et al. Association of online learning behavior and learning outcomes for medical students： large-scale usage data analysis[J].JMIR Med Educ 2019，5（2）：e13529.

[18] 馮廣，潘霆鋒，伍文燕.基于貝葉斯網(wǎng)絡(luò)模型的在線學(xué)習(xí)行為分析[J]. 廣東工業(yè)大學(xué)學(xué)報(bào)doi：10.12052/gdutxb. 210067.