張凱 付姿姿 紀(jì)濤

摘 要：現(xiàn)有知識追蹤研究大多使用習(xí)題蘊(yùn)涵的知識點(diǎn)等內(nèi)隱信息或歷史交互數(shù)據(jù)等外顯信息建模習(xí)題表示，沒有注意到內(nèi)外信息的異質(zhì)性特征，缺乏對習(xí)題內(nèi)外信息的異質(zhì)融合。針對上述問題，提出了融合內(nèi)外異質(zhì)信息的知識追蹤模型。首先，基于知識點(diǎn)等內(nèi)隱信息，計(jì)算歷史知識點(diǎn)與當(dāng)前知識點(diǎn)之間的相關(guān)程度，刻畫歷史知識點(diǎn)對當(dāng)前知識點(diǎn)的影響，建模習(xí)題的內(nèi)隱表示；其次，基于交互數(shù)據(jù)等外顯信息，計(jì)算歷史習(xí)題與當(dāng)前習(xí)題之間的相關(guān)程度，獲取歷史習(xí)題對當(dāng)前習(xí)題的影響，建模習(xí)題的外顯表示；再次，基于上述習(xí)題的內(nèi)外表示，使用通道注意力機(jī)制融合得到習(xí)題的內(nèi)外異質(zhì)表示，從而預(yù)測學(xué)習(xí)者的作答表現(xiàn)。為了驗(yàn)證提出模型的性能和有效性，選取了四個(gè)相關(guān)的基線模型，在三個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：在性能方面，提出的模型在多個(gè)評價(jià)指標(biāo)上均取得較好的效果；在有效性方面，消融實(shí)驗(yàn)證明了提出的模型可以更好地根據(jù)內(nèi)外信息建模習(xí)題表示；在應(yīng)用方面，設(shè)計(jì)智慧學(xué)習(xí)環(huán)境證明了提出的模型在實(shí)際教學(xué)場景中的可用性。

關(guān)鍵詞：知識追蹤； 習(xí)題表示； 通道注意力機(jī)制； 異質(zhì)融合

中圖分類號：TP391?? 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）03-017-0764-08

doi：10.19734/j.issn.1001-3695.2023.07.0308

Knowledge tracing via heterogeneous fusion ofexercises internal and external representations

Zhang Kai， Fu Zizi， Ji Tao

（School of Computer Science， Yangtze University， Jingzhou Hubei 434023， China）

Abstract：Most of the existing knowledge tracing research use implicit information such as concepts contained in exercises or explicit information such as historical interaction data to model exercises，they dont pay attention to the heterogeneity of internal and external information， and lack heterogeneous fusion of internal and external information. To address these issues， this paper proposed a knowledge tracing model that integrated heterogeneous internal and external information. Firstly， this model calculated the relevance between historical concepts and current concepts based on implicit information like concepts， depicted the influence of historical concepts on the current ones and modeled the exercises implicit representation. Secondly，it computed the relevance between historical exercises and current exercises by explicit information like interaction data， captured the impact of historical exercises on the current ones and established the exercises explicit representation. Furthermore， this paper utilized the channel attention mechanism on the aforementioned internal and external exercises representation， and achieved a fusion of heterogeneous information to create the exercises heterogeneous representation， enabling the prediction of learners performance. To validate the performance and effectiveness of the proposed model， this paper conducted comparative experiments on three real-world datasets using four relevant baseline models. The experimental results demonstrate that the proposed model achieves superior performance on multiple evaluation metrics. Additionally， ablation experiments confirm the effectiveness of the proposed model in better modeling exercise representations by incorporating both internal and external information. In the terms of applications， it designed a smart learning environment to prove the advantages of the proposed model in actual teaching scenarios.

Key words：knowledge tracing; exercises representation; channel attention; heterogeneous fusion

0 引言

知識追蹤以學(xué)習(xí)者與習(xí)題的交互記錄為輸入，通過刻畫習(xí)題及其知識點(diǎn)的信息，探索歷史習(xí)題對當(dāng)前習(xí)題的作用來增強(qiáng)習(xí)題表示，建模學(xué)習(xí)者的知識狀態(tài)，最終預(yù)測學(xué)習(xí)者未來的答題表現(xiàn)。隨著在線教育平臺，如edX、Courersa和學(xué)堂在線等的廣泛應(yīng)用，為知識追蹤模型提供了海量的交互數(shù)據(jù)，從而可以自動(dòng)追蹤學(xué)習(xí)者動(dòng)態(tài)變化的知識狀態(tài)，為個(gè)性化教學(xué)提供依據(jù)［1～6］。

習(xí)題的表示是知識追蹤領(lǐng)域關(guān)注的焦點(diǎn)，現(xiàn)有的研究主要從兩個(gè)方面來刻畫習(xí)題：a）通過描述習(xí)題及其知識點(diǎn)蘊(yùn)涵的信息，聚合得到習(xí)題的表示，這種信息屬于習(xí)題的內(nèi)隱信息；b）捕獲歷史交互數(shù)據(jù)對當(dāng)前習(xí)題的影響，以此增強(qiáng)習(xí)題表示，這種信息屬于習(xí)題的外顯信息。然而上述兩種方法均只從習(xí)題的內(nèi)隱信息或外顯信息單方面考慮，忽略了這兩種信息的異質(zhì)性特征，沒有實(shí)現(xiàn)習(xí)題內(nèi)外信息的融合協(xié)同。

基于這種研究現(xiàn)狀，為了更好地刻畫習(xí)題，提出了習(xí)題內(nèi)外表示異質(zhì)融合的知識追蹤模型。首先，根據(jù)習(xí)題及其知識點(diǎn)的內(nèi)隱信息，建?；趦?nèi)隱信息的習(xí)題表示；其次，利用學(xué)習(xí)者與習(xí)題的歷史交互數(shù)據(jù)計(jì)算歷史習(xí)題對當(dāng)前習(xí)題的影響，建?；谕怙@信息的習(xí)題表示；再次，根據(jù)上述兩種習(xí)題表示，建模習(xí)題內(nèi)外表示異質(zhì)融合的過程，推導(dǎo)出習(xí)題的內(nèi)外融合表示；最后計(jì)算知識狀態(tài)，預(yù)測學(xué)習(xí)者未來的答題表現(xiàn)。

1 相關(guān)工作

1.1 基于內(nèi)隱信息的習(xí)題表示

表示習(xí)題所用到的內(nèi)隱信息一般包括習(xí)題和知識點(diǎn)的編號、習(xí)題文本信息以及習(xí)題內(nèi)部知識點(diǎn)之間的相互關(guān)系等。DKT［7］是深度學(xué)習(xí)模型在知識追蹤領(lǐng)域的首次應(yīng)用，它利用獨(dú)熱編碼的方法表示習(xí)題編號。與DKT類似的還有DEKT［8］、S-GRU-R［9］和ATCKT［10］等，它們把習(xí)題描述成嵌入向量，每個(gè)嵌入向量包含了對應(yīng)習(xí)題的編號信息。另外，EERNN［11］定義了一個(gè)雙向LSTM網(wǎng)絡(luò)來提取習(xí)題文本信息，以此獲取習(xí)題的表示。這些模型都是通過建模習(xí)題的編號、文本信息等來描述習(xí)題，沒有具體從知識點(diǎn)的角度細(xì)化習(xí)題的表示。針對這一問題，DKVMN［12］利用靜態(tài)矩陣存儲知識點(diǎn)編號，通過歸一化計(jì)算不同知識點(diǎn)的權(quán)重，以此計(jì)算出習(xí)題的表示，這種方法用知識點(diǎn)編號等信息來建模習(xí)題。與該方法相似的還有MSKT［13］和EKT［14］等。更進(jìn)一步地， ContextKT［15］設(shè)計(jì)QR矩陣，包含習(xí)題和知識點(diǎn)的上下文信息，得到習(xí)題的表示。CRKT［16］以知識點(diǎn)的內(nèi)涵表示為基礎(chǔ)，根據(jù)知識點(diǎn)間的相似性，利用圖神經(jīng)網(wǎng)絡(luò)建模知識點(diǎn)間的關(guān)系，以此表示習(xí)題。IDKT［17］結(jié)合上下文信息構(gòu)建知識點(diǎn)-習(xí)題的關(guān)系圖，利用圖注意力網(wǎng)絡(luò)聚合知識點(diǎn)之間的相互關(guān)系得到增強(qiáng)的習(xí)題表示。DGMN［18］用圖卷積神經(jīng)網(wǎng)絡(luò)捕獲知識點(diǎn)之間的作用關(guān)系，進(jìn)而利用知識點(diǎn)來描述習(xí)題。

上述模型主要通過習(xí)題的內(nèi)隱信息來表示習(xí)題，這種方式以習(xí)題和知識點(diǎn)為基礎(chǔ)，從不同的角度建模了內(nèi)隱信息在習(xí)題表示中的各種作用，取得了不錯(cuò)的效果。但也把表示習(xí)題的信息局限在了內(nèi)隱信息的范疇，沒有考慮到學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)等外顯信息對習(xí)題表示的影響。

1.2 基于外顯信息的習(xí)題表示

表示習(xí)題所用到的外顯信息一般包括學(xué)習(xí)者作答習(xí)題的正誤情況等交互數(shù)據(jù)、學(xué)習(xí)者嘗試作答次數(shù)和請求提示次數(shù)等學(xué)習(xí)行為數(shù)據(jù)以及歷史習(xí)題與當(dāng)前習(xí)題之間的影響等。TCN-KT［19］根據(jù)學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)計(jì)算遺忘參數(shù)，融入習(xí)題的表示，利用卷積神經(jīng)網(wǎng)絡(luò)聚合時(shí)間窗口內(nèi)歷史習(xí)題對當(dāng)前習(xí)題的影響，增強(qiáng)了習(xí)題的表示。與這種方法類似的還有F-TCKT［20］，它利用歷史交互數(shù)據(jù)，引入三個(gè)遺忘因素來建模習(xí)題的表示。更進(jìn)一步地，NKTF-DKT［21］通過人工標(biāo)注的方式，為習(xí)題表示引入了難度特征；AKTHE［22］從學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)中計(jì)算出習(xí)題的難度和區(qū)分度等外顯信息，以此構(gòu)建異構(gòu)圖，利用注意力機(jī)制對每個(gè)歷史習(xí)題分配權(quán)重，得到更有表征能力的習(xí)題表示；DKT-DSC［23］結(jié)合學(xué)習(xí)者的作答記錄計(jì)算出學(xué)習(xí)者能力，以此更新習(xí)題表示；DSCMN［24］利用學(xué)習(xí)者與習(xí)題間的交互信息區(qū)分習(xí)題的難度并將學(xué)生能力動(dòng)態(tài)分類，得到更有表征能力的習(xí)題表示；KTCR ［25］利用Q矩陣得到知識點(diǎn)的上下文信息，結(jié)合學(xué)習(xí)行為數(shù)據(jù)建模習(xí)題的表示；QRAKT［26］通過歷史交互數(shù)據(jù)計(jì)算出習(xí)題之間的相似性，建模習(xí)題的關(guān)系矩陣，從而建模習(xí)題的表示；DKTS［27］構(gòu)建習(xí)題關(guān)系圖，從歷史交互數(shù)據(jù)中捕獲習(xí)題之間的相似關(guān)系，聚合得到習(xí)題的表示；RKT［28］結(jié)合習(xí)題的上下文以及學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)，計(jì)算習(xí)題之間的作用關(guān)系，以此得到習(xí)題的表示。

上述模型都是通過習(xí)題的外顯信息建模習(xí)題的表示，這種方法建模了外顯信息對習(xí)題表示的不同作用，但僅考慮了時(shí)間窗口內(nèi)固定長度的歷史習(xí)題序列，無法從全局的角度建模所有歷史習(xí)題對當(dāng)前習(xí)題的直接影響。綜上所述，當(dāng)前的研究利用習(xí)題的內(nèi)外信息從兩個(gè)方面建模習(xí)題的表示。然而，在根據(jù)知識點(diǎn)等內(nèi)隱信息刻畫習(xí)題時(shí)，未能注意到相同知識點(diǎn)在不同習(xí)題表示中的不同作用。在根據(jù)交互數(shù)據(jù)等外顯信息刻畫習(xí)題時(shí)，僅考慮了時(shí)間窗口內(nèi)的數(shù)據(jù)，沒有從全局建模歷史習(xí)題對當(dāng)前習(xí)題的直接影響。更重要的是，分別基于內(nèi)隱信息和外顯信息得到的習(xí)題表示具有異質(zhì)性差異，上述研究沒有建模習(xí)題內(nèi)外信息融合協(xié)同的過程，無法形成融合協(xié)同的習(xí)題表示。

為了更準(zhǔn)確地建模習(xí)題的表示，利用習(xí)題的內(nèi)隱信息和外顯信息等刻畫習(xí)題的內(nèi)外表示，消弭內(nèi)外表示的異質(zhì)性差異，融合得到更具表征能力的習(xí)題表示。主要工作包括：a）以習(xí)題、知識點(diǎn)及知識點(diǎn)間的相互關(guān)系等內(nèi)隱信息為基礎(chǔ)，建模習(xí)題的內(nèi)隱表示；b）根據(jù)學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)等外顯信息計(jì)算歷史習(xí)題與當(dāng)前習(xí)題之間的相關(guān)程度，建模歷史習(xí)題對當(dāng)前習(xí)題的影響，聚合刻畫習(xí)題的外顯表示；c）建模上述兩種習(xí)題表示的融合過程，利用通道注意力機(jī)制提取權(quán)重，實(shí)現(xiàn)習(xí)題內(nèi)外信息的異質(zhì)性協(xié)同，得到習(xí)題的內(nèi)外融合表示，并結(jié)合答題結(jié)果結(jié)合，建模知識狀態(tài)，從而預(yù)測學(xué)習(xí)者的未來表現(xiàn)。

2 習(xí)題內(nèi)外表示異質(zhì)融合的知識追蹤模型

2.1 提出的思想

在知識追蹤模型中，習(xí)題的表示受其蘊(yùn)涵知識點(diǎn)等內(nèi)隱信息的影響，例如包含不同知識點(diǎn)的習(xí)題，在表示上會(huì)存在區(qū)別。另一方面，習(xí)題的表示也受到學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)等外顯信息的影響，例如已作答的習(xí)題會(huì)影響未來相似習(xí)題的表示。已有研究分別基于內(nèi)隱信息和外顯信息刻畫了習(xí)題的表示，但尚未注意到這兩種表示的異質(zhì)性特征，無法實(shí)現(xiàn)習(xí)題內(nèi)外信息異質(zhì)性協(xié)同表示。

綜上所述，為了準(zhǔn)確地描述習(xí)題，本文提出了習(xí)題內(nèi)外表示異質(zhì)融合的知識追蹤模型。a）根據(jù)習(xí)題、知識點(diǎn)以及知識點(diǎn)間的相互關(guān)系獲取習(xí)題的內(nèi)隱表示；b）根據(jù)交互數(shù)據(jù)建模歷史習(xí)題對當(dāng)前習(xí)題的影響，獲取習(xí)題的外顯表示；c）通過對上述兩種習(xí)題表示的融合，實(shí)現(xiàn)內(nèi)外異質(zhì)信息的協(xié)同，獲取習(xí)題的內(nèi)外融合表示；d）利用自注意力機(jī)制建模不同時(shí)刻的知識狀態(tài)，計(jì)算歷史作用到當(dāng)前的融合知識狀態(tài)。整體模型架構(gòu)如圖1所示。

2.2 問題定義

設(shè)知識點(diǎn)的總數(shù)為M，任一知識點(diǎn)可以表示為cp，其中p的取值為1≤p≤M。設(shè)習(xí)題的總數(shù)為N，學(xué)習(xí)者作答的第t個(gè)題目可以表示為qt∈Euclid ExtraaBpN×1，其中t的取值為1≤t≤T，T表示某次學(xué)習(xí)過程交互習(xí)題的總數(shù)。rt={0，1}表示習(xí)題qt作答的結(jié)果，0表示作答錯(cuò)誤，1表示作答正確，（qt，rt）是學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)。lt表示習(xí)題qt作答完成的時(shí)刻。

2.3 基于內(nèi)隱信息的習(xí)題表示

習(xí)題的表示會(huì)受其蘊(yùn)涵知識點(diǎn)的影響，并且不同的知識點(diǎn)之間也會(huì)存在作用關(guān)系，這些作用關(guān)系通過改變知識點(diǎn)，進(jìn)而改變包含知識點(diǎn)的習(xí)題，最終影響習(xí)題的表示。為了建模上述過程，首先計(jì)算知識點(diǎn)的嵌入表示，其次建模歷史知識點(diǎn)對當(dāng)前知識點(diǎn)的影響，最后根據(jù)上述知識點(diǎn)及其作用關(guān)系等內(nèi)隱信息聚合得到習(xí)題的內(nèi)隱表示。

3 實(shí)驗(yàn)與分析

3.1 實(shí)現(xiàn)方法

HFER-KT模型以知識點(diǎn)、習(xí)題、習(xí)題的作答結(jié)果和習(xí)題的作答時(shí)間等為輸入，以當(dāng)前習(xí)題的預(yù)測結(jié)果為輸出，具體實(shí)驗(yàn)步驟如下：

a）建模習(xí)題的內(nèi)隱表示。對數(shù)據(jù)集中的全體知識點(diǎn)進(jìn)行編碼并映射成嵌入向量，利用皮爾森相關(guān)系數(shù)計(jì)算知識點(diǎn)之間的相關(guān)程度，建模知識點(diǎn)之間的影響，得到習(xí)題的內(nèi)隱表示qIt。

b）建模習(xí)題的外顯表示。對數(shù)據(jù)集中的全體習(xí)題進(jìn)行編碼，通過對數(shù)據(jù)集中的交互記錄進(jìn)行統(tǒng)計(jì)，計(jì)算得到習(xí)題之間的相關(guān)程度，建模習(xí)題之間的影響，得到習(xí)題的外顯表示qEt。

c）建模習(xí)題的內(nèi)外融合表示。定義習(xí)題的內(nèi)隱表示矩陣XI和習(xí)題的外顯表示矩陣XE，利用通道注意力計(jì)算習(xí)題內(nèi)外表示的權(quán)重，通過卷積網(wǎng)絡(luò)提取特征得到習(xí)題內(nèi)外融合表示矩陣XIE，矩陣中的每一列代表對應(yīng)時(shí)刻的作答習(xí)題的內(nèi)外融合表示。

d）建模知識狀態(tài)。把不同時(shí)刻的學(xué)習(xí)者的答題結(jié)果映射成零向量，結(jié)合習(xí)題的內(nèi)外融合表示，通過注意力機(jī)制建模知識狀態(tài)ht。

e）預(yù)測結(jié)果。將知識狀態(tài)與習(xí)題的內(nèi)外融合表示結(jié)合，輸出預(yù)測結(jié)果yt。

3.2 數(shù)據(jù)集

本節(jié)使用三個(gè)在知識追蹤領(lǐng)域常用的真實(shí)數(shù)據(jù)集進(jìn)行對比實(shí)驗(yàn)，具體介紹如下：

a）ASSISTments2009（Assist09）［29］。該數(shù)據(jù)集是2009—2010年由在線教育平臺ASSISTments收集而來的。因其存在較多重復(fù)數(shù)據(jù)的問題，后續(xù)又發(fā)布了更新版本，去除了重復(fù)的數(shù)據(jù)，使用的是更新版數(shù)據(jù)集。

b）Statics2011（Statics11）［30］。該數(shù)據(jù)集來源于某大學(xué)的工程力學(xué)課程，該類習(xí)題一般包括多個(gè)知識點(diǎn)。相較于其他數(shù)據(jù)集而言，Statics11包含相對較少的習(xí)題，習(xí)題中每個(gè)知識點(diǎn)都作為單獨(dú)的標(biāo)簽。

c）Junyi Academy（Junyi）［31］。該數(shù)據(jù)集源于2015年Junyi學(xué)院的交互日志，包含了25萬名學(xué)習(xí)者的超過2 500萬交互記錄，是目前數(shù)據(jù)量最大的數(shù)據(jù)集。

表1從習(xí)題、學(xué)習(xí)者和交互記錄數(shù)量三個(gè)方面描述了數(shù)據(jù)集的基本信息。

3.3 基線模型

為了展示HFER-KT模型的性能，從使用內(nèi)隱信息或外顯信息的角度選取了四個(gè)基線模型，分別是ATCKT、DKVMN、QRAKT、RKT。ATCKT模型嵌入表示習(xí)題編號，習(xí)題編號屬于內(nèi)隱信息，但是它沒有考慮習(xí)題蘊(yùn)涵的知識點(diǎn)等內(nèi)隱信息，也未能建模外顯信息對習(xí)題表示的影響；DKVMN模型首次使用靜態(tài)矩陣存儲知識點(diǎn)編號，以此來表示習(xí)題，知識點(diǎn)編號屬于內(nèi)隱信息，該模型開辟了用知識點(diǎn)表示習(xí)題的新方法，但尚未注意交互數(shù)據(jù)等外顯信息對習(xí)題表示的影響；QRAKT模型通過計(jì)算習(xí)題嵌入向量之間的相似性，得到習(xí)題的關(guān)系矩陣Q，歷史習(xí)題與當(dāng)前習(xí)題的作用關(guān)系屬于外顯信息，但該模型沒有考慮到習(xí)題的知識點(diǎn)及其作用關(guān)系等內(nèi)隱信息對習(xí)題表示的影響；RKT模型利用學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)和習(xí)題的文本信息計(jì)算習(xí)題之間的相似程度，習(xí)題的交互數(shù)據(jù)屬于外顯信息，習(xí)題的文本信息屬于內(nèi)隱信息，但該模型沒有融合習(xí)題內(nèi)外信息之間的異質(zhì)性差異。

3.4 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的運(yùn)行環(huán)境配置如表2所示，具體包含了主要的軟硬件配置基本情況。

3.5 性能對比實(shí)驗(yàn)

本文使用AUC（area under ROC curve）、準(zhǔn)確率（Acc）和精確率（precision）作為評價(jià)指標(biāo)，通過與上述基線模型的對比來驗(yàn)證HFER-KT模型的性能。其中：AUC是指ROC曲線下面積，表示模型在預(yù)測過程中真實(shí)答對率（預(yù)測答對且實(shí)際答對）大于虛假答對率（預(yù)測答對但實(shí)際答錯(cuò)）的概率，取值為［0.5，1］，AUC的值越大，說明模型預(yù)測性能越好；Acc表示模型預(yù)測正確的樣本個(gè)數(shù)（預(yù)測答對實(shí)際答對與預(yù)測答錯(cuò)實(shí)際答錯(cuò)的樣本個(gè)數(shù)之和）占所有樣本個(gè)數(shù)的比值，Acc的值越大，說明模型預(yù)測正確的概率越高；precision表示模型預(yù)測答對的樣本個(gè)數(shù)與總答對樣本個(gè)數(shù)的比值，precision的值越大，說明作答結(jié)果為對時(shí)模型預(yù)測的準(zhǔn)確率越高。

圖2是本文HFER-KT模型與四個(gè)基線模型在三個(gè)真實(shí)數(shù)據(jù)集上的AUC結(jié)果對比。

根據(jù)圖2展示的實(shí)驗(yàn)結(jié)果可以看出，HFER-KT模型在三個(gè)數(shù)據(jù)集上的AUC均表現(xiàn)較好，對比第二名ATCKT模型，在三個(gè)數(shù)據(jù)集中分別提高了0.023%、1.96%和2.32%。分析呈現(xiàn)出這種結(jié)果的可能原因是：ATCKT模型根據(jù)習(xí)題的編號等嵌入表示習(xí)題，使用的信息較為單一，缺乏建模交互數(shù)據(jù)等外顯信息對習(xí)題表示的影響，從而導(dǎo)致該模型的預(yù)測性能略低于HFER-KT模型。與ATCKT模型不同的是，HFER-KT模型不僅使用了知識點(diǎn)等內(nèi)隱信息描述習(xí)題，也把交互數(shù)據(jù)等外顯信息納入建模范疇，融合推導(dǎo)出更具表征能力的習(xí)題表示，從而取得了更好的實(shí)驗(yàn)結(jié)果，說明了HFER-KT模型的有效性。

圖3是本文HFER-KT模型與四個(gè)基線模型在三個(gè)真實(shí)數(shù)據(jù)集上的Acc結(jié)果對比。

根據(jù)圖3展示的實(shí)驗(yàn)結(jié)果可以看出，HFER-KT模型在三個(gè)數(shù)據(jù)集上的Acc均取得了一定的優(yōu)勢。其中，在Statics11數(shù)據(jù)集上的表現(xiàn)最好，與第二名RKT模型對比，Acc提高了4.74%。出現(xiàn)這種結(jié)果的主要原因可能是：RKT模型利用習(xí)題的內(nèi)隱信息和外顯信息建模習(xí)題的表示，但沒有注意到這兩種信息的異質(zhì)性特征，缺少建模習(xí)題內(nèi)外信息協(xié)同融合的過程，導(dǎo)致習(xí)題的表示不夠全面，從而表現(xiàn)出實(shí)驗(yàn)結(jié)果欠佳。HFER-KT模型分別描述了習(xí)題內(nèi)外異質(zhì)信息對習(xí)題表示的作用，并實(shí)現(xiàn)了內(nèi)外異質(zhì)信息的協(xié)同，融合得到新的習(xí)題表示。上述實(shí)驗(yàn)結(jié)果可以驗(yàn)證該建模方法的有效性。

圖4是本文HFER-KT模型與四個(gè)基線模型在三個(gè)真實(shí)數(shù)據(jù)集上的precision結(jié)果對比。

根據(jù)圖4的實(shí)驗(yàn)結(jié)果可以看出，HFER-KT模型在三個(gè)數(shù)據(jù)集中的precision均取得了更好的結(jié)果，與第二名ATCKT模型對比，本文模型在三個(gè)數(shù)據(jù)集中的precision分別要高出0.09%、1.55%和1.14%。說明HFER-KT模型的預(yù)測性能略優(yōu)于對比模型?？梢钥闯鲈贘unyi數(shù)據(jù)集上，所有模型的precision均有不同程度的降低，分析造成這種結(jié)果的原因是Junyi數(shù)據(jù)集龐大的數(shù)據(jù)量造成的誤差。

3.6 參數(shù)對比實(shí)驗(yàn)

參數(shù)設(shè)置是影響模型訓(xùn)練效率以及預(yù)測準(zhǔn)確率的重要因素，為了進(jìn)一步確定HFER-KT模型的最佳參數(shù)，設(shè)計(jì)了參數(shù)對比實(shí)驗(yàn)。具體如下：分別把習(xí)題表示的維度設(shè)置為32，64，128，對比不同維度的情況下HFER-KT模型的最佳AUC，實(shí)驗(yàn)結(jié)果如表3所示。

從表3可以看出，當(dāng)表示習(xí)題的向量維度是64時(shí)，HFER-KT模型的AUC在多個(gè)數(shù)據(jù)集中表現(xiàn)較好。因此，將HFER-KT模型的習(xí)題表示設(shè)置為64。

3.7 消融實(shí)驗(yàn)

本文研究基于“習(xí)題的表示會(huì)受到習(xí)題內(nèi)外異質(zhì)信息的協(xié)同作用”這一假設(shè)，為了進(jìn)一步驗(yàn)證本文模型在建模習(xí)題表示方面的有效性，本節(jié)設(shè)計(jì)了三個(gè)消融實(shí)驗(yàn)：a）消融習(xí)題的內(nèi)隱表示，在HFER-KT模型中，用習(xí)題的嵌入表示qi代替由知識點(diǎn)及其相互關(guān)系聚合而成的習(xí)題內(nèi)隱表示qIi，把該模型記作HFER-KT-A；b）消融習(xí)題的外顯表示，在HFER-KT模型中，用習(xí)題的嵌入表示qi代替由歷史交互數(shù)據(jù)計(jì)算得到的習(xí)題外顯表示qEi，把該模型記作HFER-KT-B；c）消融習(xí)題的內(nèi)外融合表示，在HFER-KT模型中，拼接獲取到的習(xí)題內(nèi)外表示，通過全連接層獲取習(xí)題的融合表示，以此代替通道注意力機(jī)制和卷積網(wǎng)絡(luò)建模的習(xí)題內(nèi)外異質(zhì)信息融合的過程，把該模型記作HFER-KT-C。以AUC、Acc和precision為評價(jià)指標(biāo)，在數(shù)據(jù)集Assist09上進(jìn)行相關(guān)實(shí)驗(yàn)，結(jié)果如表4所示。

從表4可以看出，在Assist09數(shù)據(jù)集中，HFER-KT模型的AUC、Acc和precision均取得了最好的結(jié)果。另外，HFER-KT-A模型的性能數(shù)據(jù)與HFER-KT模型相差最大，分析其原因可能是：HFER-KT-A模型沒有描述知識點(diǎn)及其作用關(guān)系對習(xí)題表示的影響，導(dǎo)致獲取的習(xí)題表示缺乏表征能力，從而影響模型的性能。這驗(yàn)證了內(nèi)隱信息會(huì)作用于習(xí)題表示的假設(shè)。HFER-KT-B模型的性能略好于HFER-KT-A模型，但依舊不及HFER-KT模型，其原因可能是：HFER-KT-B模型忽略了學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)對習(xí)題表示的作用，只建模了基于內(nèi)隱信息的習(xí)題表示，從而導(dǎo)致模型性能不佳。這驗(yàn)證了外顯信息會(huì)作用于習(xí)題表示的假設(shè)。最后，HFER-KT-C模型的性能也次于HFER-KT模型，其原因可能是：該模型僅利用全連層計(jì)算了習(xí)題的融合表示，建模習(xí)題內(nèi)隱和外顯信息異質(zhì)融合的方式欠妥，導(dǎo)致模型的性能不佳。這驗(yàn)證了利用通道注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)建模協(xié)同融合習(xí)題內(nèi)外信息，建模習(xí)題內(nèi)外異質(zhì)融合表示的有效性。

3.8 表示質(zhì)量對比實(shí)驗(yàn)

模型的表示質(zhì)量是指模型的預(yù)測結(jié)果與實(shí)際應(yīng)用結(jié)果之間的差異。例如，A模型通過某個(gè)真實(shí)數(shù)據(jù)集訓(xùn)練后，測試顯示具有良好的預(yù)測性能。現(xiàn)將A模型應(yīng)用于實(shí)際教學(xué)環(huán)境中，該模型預(yù)測有80%的學(xué)生能夠答對B習(xí)題，但實(shí)際情況顯示只有60%的學(xué)生能作答正確。這顯然與真實(shí)情況相差較大，說明A模型的表示質(zhì)量欠佳，不能很好地適用于實(shí)際環(huán)境。一般使用模型的預(yù)測概率與真實(shí)概率之間的差值來衡量模型的表示質(zhì)量，預(yù)測概率與真實(shí)概率之間的差值越小，說明模型更能貼合實(shí)際情況。

從表5的結(jié)果可以看出，不論真實(shí)概率較低還是較高，HFER-KT模型與真實(shí)概率之間的差值都最小，這表明了HFER-KT模型的表示質(zhì)量更好，具有更穩(wěn)定的性能，更為貼合實(shí)際情況。其次，ATCKT模型的差值表現(xiàn)僅次于HFER-KT模型，分析原因可能是ATCKT模型嵌入表示了習(xí)題編號，但沒有建模交互數(shù)據(jù)等外顯習(xí)題對習(xí)題表示的影響。實(shí)驗(yàn)結(jié)果驗(yàn)證了HFER-KT模型協(xié)同融合習(xí)題內(nèi)外異質(zhì)信息，建模習(xí)題內(nèi)外異質(zhì)融合表示的有效性。

3.9 模型的應(yīng)用

為了檢驗(yàn)本文HFER-KT模型在實(shí)際教學(xué)場景中的有效性，設(shè)計(jì)開發(fā)了“學(xué)習(xí)數(shù)據(jù)與認(rèn)知模型雙驅(qū)動(dòng)的跨模態(tài)多尺度自適應(yīng)智慧教學(xué)環(huán)境 （CMA-ITE）”。該智慧教學(xué)環(huán)境包含習(xí)題、知識點(diǎn)等多模態(tài)內(nèi)隱信息，也包含學(xué)習(xí)者答題記錄和學(xué)習(xí)行為數(shù)據(jù)等多模態(tài)外顯信息，建模多時(shí)空尺度的學(xué)習(xí)者認(rèn)知功能來完成對學(xué)習(xí)者知識狀態(tài)的判斷和預(yù)測；同時(shí)，集成了選取的若干基線模型，便于在實(shí)際教學(xué)環(huán)境中對比分析各個(gè)模型的效果并進(jìn)行差異評估。智慧教學(xué)環(huán)境的部分功能如圖5和6所示。

智慧教學(xué)環(huán)境包含4 151名學(xué)習(xí)者和110個(gè)知識點(diǎn)，保存了不同學(xué)習(xí)者與習(xí)題的交互記錄，并對這些記錄進(jìn)行處理，將80%用作訓(xùn)練集，20%用作測試集，得到各個(gè)模型的平均預(yù)測準(zhǔn)確率，具體結(jié)果如表6所示。

從表6可以看出，HFER-KT模型相較于只利用內(nèi)隱信息建模習(xí)題表示的ATCKT和DKVMN模型，在實(shí)際應(yīng)用中呈現(xiàn)出一定的優(yōu)勢，與只利用外顯信息建模習(xí)題表示的QRAKT模型相比，更是具有明顯的優(yōu)勢。RKT模型雖然使用了內(nèi)隱信息和外顯信息，但沒有建模內(nèi)外信息異質(zhì)融合的過程，因此在實(shí)際應(yīng)用中的效果與本文HFER-KT模型相比略有不足。上述實(shí)驗(yàn)結(jié)果驗(yàn)證了HFER-KT模型通過習(xí)題內(nèi)外信息建模內(nèi)外信息異質(zhì)融合表示的有效性。

4 結(jié)束語

本文提出了一個(gè)習(xí)題內(nèi)外表示異質(zhì)融合的知識追蹤模型，用于解決現(xiàn)存知識追蹤模型未曾綜合建模習(xí)題內(nèi)外異質(zhì)信息的問題。HFER-KT模型分別根據(jù)習(xí)題的內(nèi)隱信息和外顯信息計(jì)算出習(xí)題的兩種表示，并利用通道注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)融合上述兩種表示的異質(zhì)性特征，完成了對不同信息的協(xié)同融合。該模型在三個(gè)真實(shí)數(shù)據(jù)集上與四個(gè)基線模型進(jìn)行對比，多個(gè)實(shí)驗(yàn)結(jié)果表明，本文模型在性能和訓(xùn)練效率方面具有一定的優(yōu)勢，同時(shí)驗(yàn)證了模型在協(xié)同建模習(xí)題的內(nèi)外信息方面的有效性。未來的研究工作將進(jìn)一步挖掘習(xí)題的表示及其作用關(guān)系對知識追蹤模型的影響。

參考文獻(xiàn)：

［1］張暖， 江波. 學(xué)習(xí)者知識追蹤研究進(jìn)展綜述［J］. 計(jì)算機(jī)科學(xué)， 2021，48（4）： 213-222. （Zhang Nuan， Jiang Bo. Review progress of learner knowledge tracing［J］. Computer Science， 2021，48（4）： 213-222.）

［2］劉鐵園， 陳威， 常亮， 等. 基于深度學(xué)習(xí)的知識追蹤研究進(jìn)展［J］. 計(jì)算機(jī)研究與發(fā)展， 2021，59（1）： 81-104. （Liu Tieyuan， Chen Wei， Chang Liang， et al. Research advances in the knowledge tracing based on deep learning［J］. Journal of Computer Research and Development， 2021，59（1）： 81-104.）

［3］梁琨， 任依夢， 尚余虎， 等. 深度學(xué)習(xí)驅(qū)動(dòng)的知識追蹤研究進(jìn)展綜述［J］. 計(jì)算機(jī)工程與應(yīng)用， 2021，57（21）： 41-58. （Liang Kun， Ren Yimeng， Shang Yuhu， et al. Review of knowledge tracing preprocessing based on deep learning［J］. Computer Engineering and Applications， 2021，57（21）： 41-58.）

［4］李菲茗， 葉艷偉， 李曉菲， 等. 知識追蹤模型在教育領(lǐng)域的應(yīng)用： 2008—2017年相關(guān)研究的綜述［J］. 中國遠(yuǎn)程教育， 2019（7）： 86-91. （Li Feiming， Ye Yanwei， Li Xiaofei， et al. Application of knowledge tracing models in education： a review of relevant research from 2008 to 2017［J］. Distance Education in China， 2019（7）： 86-91.）

［5］盧宇， 王德亮， 章志， 等. 智能導(dǎo)學(xué)系統(tǒng)中的知識追蹤建模綜述［J］. 現(xiàn)代教育技術(shù)， 2021，31（11）： 87-95. （Lu Yu， Wang De-liang， Zhang Zhi， et al. A review of knowledge tracing modeling in intelligent tutoring systems［J］. Modern Educational Technology， 2021，31（11）： 87-95.）

［6］曾凡智， 許露倩， 周燕， 等. 面向智慧教育的知識追蹤模型研究綜述［J］. 計(jì)算機(jī)科學(xué)與探索， 2022，16（8）： 1742-1763. （Zeng Fanzhi， Xu Luqian， Zhou Yan， et al.Review of knowledge tracing model for intelligent education［J］. Journal of Frontiers of Computer Science and Technology， 2022，16（8）： 1742-1763.）

［7］Piech C， Bassen J， Huang J， et al. Deep knowledge tracing［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2015： 505-513.

［8］熊余， 張健， 王盈， 等. 基于深度學(xué)習(xí)的演化知識追蹤模型［J］. 電化教育研究， 2022，43（11）： 23-30. （Xiong Yu， Zhang Jian， Wang Ying， et al. An evolutionary knowledge tracing model based on deep learning［J］. e-Education Research， 2022，43（11）： 23-30.）

［9］黃彩蝶， 王昕萍， 陳良育， 等. 基于堆疊門控循環(huán)單元?dú)埐罹W(wǎng)絡(luò)的知識追蹤模型研究［J］.華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版， 2022（6）： 68-78. （Huang Caidie， Wang Xinping， Cheng Liangyu， et al. Research on a knowledge tracing model based on the stacked gated recurrent unit residual network［J］. Journal of East China Normal University： Natural Science， 2022（6）： 68-78.）

［10］邵小萌， 張猛. 融合注意力機(jī)制的時(shí)間卷積知識追蹤模型［J］. 計(jì)算機(jī)應(yīng)用， 2023，43（2）： 343-348. （Shao Xiaomeng， Zhang Meng. Temporal convolutional knowledge tracing model with attention mechanism［J］. Journal of Computer Applications， 2023，43（2）： 343-348.）

［11］Su Yu， Liu Qingwen， Liu Qi， et al. Exercise-enhanced sequential modeling for student performance prediction［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2435-2443.

［12］Zhang Jiani， Shi Xingjian， King I， et al. Dynamic key-value memory networks for knowledge tracing［C］//Proc of the 26th International Conference on World Wide Web. New York：ACM Press， 2017： 765-774.

［13］宗曉萍， 陶澤澤. 基于掌握速度的知識追蹤模型［J］. 計(jì)算機(jī)工程與應(yīng)用， 2021，57（6）： 117-123. （Zong Xiaoping， Tao Zeze. Knowledge tracing model based on mastery speed［J］. Computer Engineering and Application， 2021，57（6）： 117-123.）

［14］Liu Qi， Huang Zhenya， Yin Yu， et al. EKT： exercise-aware know-ledge tracing for student performance prediction［J］. IEEE Trans on Knowledge and Data Engineering， 2021，33（1）： 100-115.

［15］Yu Minghe， Li Fan， Liu Hengyu， et al. ContextKT： a context-based method for knowledge tracing［J］. Applied Sciences， 2022，12（17）： 8822.

［16］張凱， 劉月， 覃正楚， 等. 概念表示增強(qiáng)的知識追蹤模型［J］. 計(jì)算機(jī)應(yīng)用研究， 2022，39（11）： 3309-3314. （Zhang Kai， Liu Yue， Qin Zhengchu， et al. Concept representation enhanced knowledge tracing［J］. Application Research of Computers， 2022，39（11）： 3309-3314.）

［17］劉坤佳， 李欣奕， 唐九陽， 等. 可解釋深度知識追蹤模型［J］. 計(jì)算機(jī)研究與發(fā)展， 2021，58（12）： 2618-2629. （Liu Kunjia， Li Xinyi， Tang Jiuyang， et al. Interpretable deep knowledge tracing［J］. Journal of Computer Research and Development， 2021，58（12）： 2618-2629.）

［18］Abdelrahman G， Wang Qing. Deep graph memory networks for forgetting-robust knowledge tracing［J］. IEEE Trans on Knowledge and Data Engineering， 2022，35（8）： 7844-7855.

［19］王璨， 劉朝暉， 王蓓， 等. TCN-KT：個(gè)人基礎(chǔ)與遺忘融合的時(shí)間卷積知識追蹤模型［J］. 計(jì)算機(jī)應(yīng)用研究， 2022，39（5）： 1496-1500. （Wang Can， Liu Zhaohui， Wang Bei， et al. TCN-KT：temporal convolutional knowledge tracking model based on fusion of personal basis and forgetting［J］. Application Research of Computers， 2022， 39（5）： 1496-1500.）

［20］張鵬， 文磊. F-TCKT：融合遺忘因素的深度時(shí)序卷積知識追蹤模型［J］. 計(jì)算機(jī)應(yīng)用研究， 2023，40（4）： 1070-1074. （Zhang Peng， Wen Lei. F-TCKT： deep temporal convolutional knowledge tracking model with forgetting factors［J］. Application Research of Computers， 2023，40（4）： 1070-1074.）

［21］魏思， 沈雙宏， 黃振亞， 等. 融合通用題目表征學(xué)習(xí)的神經(jīng)知識追蹤方法研究［J］.中文信息學(xué)報(bào)， 2022，36（4）： 146-155. （Wei Si， Shen Shuanghong， Huang Zhenya， et al. Integrating general exercises representation learning into neural knowledge tracing［J］. Journal of Chinses Information Processing， 2022，36（4）：146-155.）

［22］Zhang Nan， Du Ye， Deng Ke， et al. Attention-based knowledge tracing with heterogeneous information network embedding［C］//Proc of the 13th International Conference on Knowledge Science， Engineering and Management. Cham： Springer， 2020： 95-103.

［23］Minn S， Yu Yi， Desmarais M C， et al. Deep knowledge tracing and dynamic student classification for knowledge tracing［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2018： 1182-1187.

［24］Minn S， Desmarais M C， Zhu Feida， et al. Dynamic student classification on memory networks for knowledge tracing［C］//Proc of the 23rd Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining. Cham： Springer， 2019： 163-174.

［25］王文濤， 馬慧芳， 舒躍育， 等. 基于上下文表示的知識追蹤方法［J］. 計(jì)算機(jī)工程與科學(xué)， 2022，44（9）： 1693-1701. （Ma Wentao， Ma Huifang， Shu Yueyu， et al. Knowledge tracing based on contextualized representation［J］. Computer Engineering & Science， 2022，44（9）： 1693-1701.）

［26］Li Lingqin， Wang Zhifeng. Calibrated Q-matrix-enhanced deep know-ledge tracing with relational attention mechanism［J］.Applied Scien-ces， 2023，13（4）： 2541.

［27］Wang Zhiwei， Feng Xiaoqin， Tang Jijiang， et al. Deep knowledge tracing with side information［C］//Proc of the 20th International Conference on Artificial Intelligence in Education. Charm： Springer， 2019： 303-308.

［28］Pandey S， Srivastava J. RKT： relation-aware self-attention for know-ledge tracing［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press， 2020： 1205-1214.

［29］Feng Mingyu， Heffernan N， Koedinger K. Addressing the assessment challenge with an online system that tutors as it assesses［J］. User Modeling and User-Adapted Interaction， 2009，19（8）： 243-266.

［30］Koedinger K R， Baker R S J， Cunningham K， et al. A data repository for the EDM community： the PSLC DataShop［M］//Handbook of Educational Data Mining. Boca Raton， FL： CRC Press， 2010： 43-56.

［31］Chang H S， Hsu H J， Chen K T. Modeling exercise relationships in e-learning： a unified approach［EB/OL］. （2019-09-28）. https：//homepage.iis.sinica.edu.tw/～swc/pub/elearning_exercise_relationship.html.