劉夢(mèng)君，蔣新宇，石斯瑾，江 南，吳 笛

(湖北大學(xué) 教育學(xué)院，湖北 武漢 430062)

一、引 言

“人工智能+教育”作為新一代教育信息化的核心引擎，吸引著政、企、學(xué)三界不遺余力地推動(dòng)人工智能與教育教學(xué)的深度融合。學(xué)術(shù)和產(chǎn)業(yè)界產(chǎn)出了大量關(guān)于人工智能的教學(xué)理論[1]、模型[2]、方法[3]和功能系統(tǒng)[4]，人工智能仿佛無所不能，各類新奇的人工智能教育理念[5]和應(yīng)用[6]紛紛涌現(xiàn)在師生、家長(zhǎng)和社會(huì)眼前。智能教學(xué)、智能課堂教學(xué)行為分析、智能評(píng)測(cè)、智能搜題、智能教與學(xué)助手、智能考務(wù)等應(yīng)用越來越多地被運(yùn)用到諸多教與學(xué)環(huán)節(jié)中。一時(shí)間的教育界，人工智能風(fēng)頭無兩，迎來高光時(shí)刻。

人工智能技術(shù)的基石是機(jī)器學(xué)習(xí)算法，科學(xué)家一直夢(mèng)想著機(jī)器學(xué)習(xí)算法(如無特別說明，后文單獨(dú)的“算法”皆為“機(jī)器學(xué)習(xí)算法”一詞的簡(jiǎn)稱)能夠發(fā)展到幫助人工智能具備人類智慧的水平，然而，在進(jìn)展到這一步之前，一些計(jì)算機(jī)科學(xué)領(lǐng)域的算法科學(xué)家們對(duì)算法自身的安全可靠性憂心忡忡[7，8]。為了推動(dòng)技術(shù)的發(fā)展，一直以來，研究者們對(duì)算法的運(yùn)行環(huán)境，往往設(shè)定成參與各方無條件遵循算法設(shè)計(jì)者意愿，配合算法運(yùn)行。這種理想化的算法運(yùn)行環(huán)境，在實(shí)際尤其是牽涉到重大利益的現(xiàn)實(shí)應(yīng)用上，往往難以存在，導(dǎo)致應(yīng)用運(yùn)行過程危機(jī)四伏[9，10]。計(jì)算機(jī)學(xué)科領(lǐng)域?qū)＜乙呀?jīng)對(duì)此問題開始了大量針對(duì)性的研究[11-13]，而教育界還鮮有研究關(guān)注到此問題并意識(shí)到問題的嚴(yán)峻性。

正所謂“根基不牢，地動(dòng)山搖”。除去人工智能教育應(yīng)用作為一種信息系統(tǒng)面臨的傳統(tǒng)信息安全攻擊風(fēng)險(xiǎn)，如信息泄露、網(wǎng)絡(luò)攻擊等傳統(tǒng)數(shù)據(jù)隱私安全風(fēng)險(xiǎn)[14]之外，它還面臨著一些非傳統(tǒng)的功能安全攻擊風(fēng)險(xiǎn)[15-17]，而現(xiàn)有的信息安全技術(shù)不能有效應(yīng)對(duì)這些風(fēng)險(xiǎn)。由于安全是一切技術(shù)應(yīng)用發(fā)展的首要前提，特別是在教育這一擁有特殊用戶群體的領(lǐng)域。因此，為了在滿足日益增長(zhǎng)的人工智能教育教學(xué)應(yīng)用需求的同時(shí)，保證教育教學(xué)活動(dòng)安全開展，亟需向廣大教育業(yè)界人員解讀機(jī)器學(xué)習(xí)教育應(yīng)用所面臨的功能安全風(fēng)險(xiǎn)這一非傳統(tǒng)安全風(fēng)險(xiǎn)。與此同時(shí)，在基礎(chǔ)算法理論取得突破之前，教育領(lǐng)域各界人士務(wù)必保持必要警惕性，并在人工智能教育應(yīng)用中從應(yīng)用運(yùn)行管理方面采取各類法律、制度、管理和組織等防御性措施。

二、人工智能系統(tǒng)教育應(yīng)用安全風(fēng)險(xiǎn)研究現(xiàn)狀

中國(guó)信通院發(fā)布的《人工智能安全框架》中，將人工智能安全框架劃分為目標(biāo)、管理、能力和技術(shù)四個(gè)維度，研究者們從應(yīng)用目標(biāo)與定位背離公序良俗帶來倫理風(fēng)險(xiǎn)、應(yīng)用運(yùn)行管理不當(dāng)帶來管理風(fēng)險(xiǎn)、應(yīng)用安全能力的缺失帶來隱私風(fēng)險(xiǎn)和應(yīng)用核心技術(shù)本身的缺陷帶來功能風(fēng)險(xiǎn)四個(gè)角度展開了相關(guān)研究。

應(yīng)用的目標(biāo)與定位是人工智能系統(tǒng)教育應(yīng)用實(shí)現(xiàn)的前提，這個(gè)前提決定著人工智能教育應(yīng)用的整體走向。為避免應(yīng)用目標(biāo)與定位背離公序良俗對(duì)社會(huì)帶來根本性的倫理風(fēng)險(xiǎn)，國(guó)內(nèi)研究者依據(jù)中國(guó)國(guó)情，針對(duì)這一風(fēng)險(xiǎn)進(jìn)行了許多研究。張安毅[17]立足于人工智能應(yīng)用責(zé)任制度，建議在相應(yīng)的責(zé)任法給出人工智能致?lián)p應(yīng)用責(zé)任規(guī)定，以此對(duì)應(yīng)用設(shè)計(jì)者的行為做出規(guī)范；杜靜[18]基于人工智能在教育領(lǐng)域的應(yīng)用現(xiàn)狀，歸納出八大教育智能教育倫理原則，力求為人工智能倫理問題的解決提供規(guī)制；錢小龍[19]針對(duì)人工智能帶來的教育倫理風(fēng)險(xiǎn)，提出了教育人工智能必須遵循的倫理原則和未來發(fā)展的策略建議。

在應(yīng)用運(yùn)行管理上，《人工智能安全標(biāo)準(zhǔn)化白皮書》明確指出人工智能應(yīng)用的運(yùn)行及其管理是與用戶最直接相關(guān)的，在此階段產(chǎn)生的所有安全管理風(fēng)險(xiǎn)都是與用戶和開發(fā)者直接相關(guān)的，其重要性可見一斑。因此，教育界的研究者們紛紛展開研究，為人工智能應(yīng)用運(yùn)行管理建言獻(xiàn)策。盧迪[20]從全球視野出發(fā)，著眼于宏觀國(guó)家層面、中觀校園層面與微觀個(gè)性化層面問題的解決，為實(shí)現(xiàn)人工智能教育“善治”構(gòu)建國(guó)際適用的治理框架；胡元聰[21]從開發(fā)者角度出發(fā)，明確了人工智能企業(yè)研發(fā)生產(chǎn)、缺陷應(yīng)用管理等方面社會(huì)責(zé)任，通過創(chuàng)新人工智能應(yīng)用管理制度來降低相應(yīng)風(fēng)險(xiǎn)。

在應(yīng)用安全能力上，楊蓉[22]、季衛(wèi)東[23]等人的研究均表明人工智能應(yīng)用安全能力的缺失會(huì)使系統(tǒng)內(nèi)隱私數(shù)據(jù)暴露于各類風(fēng)險(xiǎn)之下，產(chǎn)生大量諸如系統(tǒng)安全、網(wǎng)絡(luò)安全和數(shù)據(jù)安全等傳統(tǒng)安全攻擊風(fēng)險(xiǎn)。對(duì)此類問題，研究者們已從系統(tǒng)安全防護(hù)[24]、網(wǎng)絡(luò)安全防護(hù)[25]以及數(shù)據(jù)安全防護(hù)[26]等角度展開研究并取得一定進(jìn)展。特別是在教育人工智能應(yīng)用所產(chǎn)生的涉及教育者、學(xué)習(xí)者、管理者等多個(gè)層面、多種模態(tài)的教育大數(shù)據(jù)[27]安全方面，研究者們從傳統(tǒng)信息安全技術(shù)[28]與新興的區(qū)塊鏈技術(shù)[29，30]等多個(gè)角度提出了相應(yīng)的隱私防護(hù)措施。

總的來看，人工智能教育應(yīng)用在倫理、管理、隱私三方面的傳統(tǒng)安全風(fēng)險(xiǎn)，在政企學(xué)三界的努力下，已經(jīng)從各方面給出了大量解決方法。然而，對(duì)于投毒攻擊[31]、對(duì)抗樣本攻擊[32]等多種非傳統(tǒng)安全攻擊導(dǎo)致的功能安全問題，閆懷志[33]曾指出：“人工智能功能安全問題與傳統(tǒng)的網(wǎng)絡(luò)安全強(qiáng)調(diào)的保密性、完整性、可用性等信息安全問題，存在本質(zhì)不同。”李欣姣[31]、魏立斐[12]、何英哲[11]以及陳宇飛[32]等人對(duì)機(jī)器學(xué)習(xí)算法的研究也表明，機(jī)器學(xué)習(xí)算法在訓(xùn)練和預(yù)測(cè)階段遭遇到非傳統(tǒng)安全攻擊行為，算法無法實(shí)現(xiàn)設(shè)計(jì)功能，具備較弱魯棒性。

三、機(jī)器學(xué)習(xí)及其技術(shù)風(fēng)險(xiǎn)

(一)機(jī)器學(xué)習(xí)技術(shù)簡(jiǎn)介

機(jī)器學(xué)習(xí)是一門通過學(xué)習(xí)“經(jīng)驗(yàn)”來改善計(jì)算機(jī)系統(tǒng)性能的學(xué)科。經(jīng)驗(yàn)常為數(shù)據(jù)，學(xué)習(xí)“經(jīng)驗(yàn)”則是通過學(xué)習(xí)產(chǎn)生可以使系統(tǒng)性能變好的數(shù)學(xué)模型，也即算法。從機(jī)器學(xué)習(xí)定義來看，數(shù)據(jù)和算法是兩大關(guān)鍵，機(jī)器學(xué)習(xí)應(yīng)用程序依據(jù)這兩大關(guān)鍵大致可分為數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型輸出四個(gè)步驟。其中數(shù)據(jù)采集主要是收集目標(biāo)數(shù)據(jù)；而數(shù)據(jù)預(yù)處理是對(duì)采集數(shù)據(jù)進(jìn)行清洗，然后劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；模型訓(xùn)練則是使用訓(xùn)練數(shù)據(jù)，對(duì)算法的參數(shù)進(jìn)行調(diào)整，以適應(yīng)目標(biāo)數(shù)據(jù)集的獨(dú)有特性；模型輸出則是使用調(diào)好參數(shù)的算法對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)。

(二)機(jī)器學(xué)習(xí)算法功能風(fēng)險(xiǎn)

機(jī)器學(xué)習(xí)工作關(guān)鍵在模型訓(xùn)練和模型預(yù)測(cè)階段。機(jī)器學(xué)習(xí)算法面臨功能風(fēng)險(xiǎn)也出現(xiàn)在這兩個(gè)階段，如圖1所示。攻擊者多采用投毒攻擊和對(duì)抗攻擊來對(duì)教育應(yīng)用功能進(jìn)行干擾，破壞模型的完整性和可用性，使其無法正常運(yùn)行。

圖1 機(jī)器學(xué)習(xí)算法流程、面臨功能風(fēng)險(xiǎn)

投毒攻擊[31]是一種典型“謊話百遍成真理”現(xiàn)象，主要發(fā)生在訓(xùn)練階段，是攻擊者利用機(jī)器學(xué)習(xí)應(yīng)用需要不斷更新訓(xùn)練數(shù)據(jù)的契機(jī)，通過修改、刪除或注入不良數(shù)據(jù)，構(gòu)造的惡意數(shù)據(jù)，并將此數(shù)據(jù)注入到訓(xùn)練數(shù)據(jù)集，在模型擁有者毫無察覺的情況下，改變?cè)械臄?shù)據(jù)集的概率分布，來形成模型“后門”，使訓(xùn)練出來的模型邊界發(fā)生偏移或使模型精度降低，導(dǎo)致模型訓(xùn)練結(jié)果產(chǎn)生偏差，得到錯(cuò)誤結(jié)論的算法模型。投毒攻擊能夠成功的原因也在于，當(dāng)前的機(jī)器學(xué)習(xí)算法一直假定數(shù)據(jù)都是來源于客觀世界，數(shù)據(jù)在時(shí)間軸上的分布是相同的，而一旦這個(gè)假設(shè)前提被攻擊者打破，其后續(xù)算法運(yùn)行結(jié)果便不可能正常。

對(duì)抗樣本攻擊[31]通過各種方式改變模型輸入數(shù)據(jù)的特征來影響模型的預(yù)測(cè)效果，主要發(fā)生在預(yù)測(cè)階段。攻擊者常常使用優(yōu)化求解技術(shù)在樣本空間中搜索對(duì)抗樣本、利用特征信息(如梯度信息)構(gòu)造對(duì)抗樣本和生成模型直接生成對(duì)抗樣本等方法來產(chǎn)生對(duì)抗樣本，并且采用L2范數(shù)來控制以及衡量噪聲大小等方式來降低人類對(duì)對(duì)抗樣本的感知度，從而實(shí)現(xiàn)利用人類無法察覺的對(duì)抗樣本使模型以高置信度給出一個(gè)錯(cuò)誤輸出的攻擊目的。例如在人臉識(shí)別系統(tǒng)中，眼部及其周圍區(qū)域像素是算法特征數(shù)據(jù)重點(diǎn)提取來源，只用一副眼鏡，就使得算法獲得的眼部特征形成巨大差異，導(dǎo)致系統(tǒng)無法識(shí)別。它能夠成功的原因主要在于理想模型和實(shí)際從數(shù)據(jù)中訓(xùn)練出來的模型之間特征維度具有差異。因?yàn)闃颖究臻g覆蓋面相對(duì)有限的緣故，訓(xùn)練出來的模型，無法學(xué)習(xí)到所有特征以及特征之間的聯(lián)系，這就給攻擊者極大的操作空間。

(三)機(jī)器學(xué)習(xí)算法功能風(fēng)險(xiǎn)對(duì)智能教育的危害

由于機(jī)器學(xué)習(xí)算法功能是智能教育能夠?qū)崿F(xiàn)的主要途徑，是人工智能教育應(yīng)用能夠運(yùn)行的核心支柱，更是應(yīng)用在激烈的市場(chǎng)競(jìng)爭(zhēng)中賴以生存的立身之本，而近期的研究表明對(duì)抗樣本攻擊與投毒攻擊對(duì)算法功能的攻擊成功率極高，造成的后果較為嚴(yán)重[11，34]。一來，攻擊者可以利用對(duì)抗樣本來實(shí)施針對(duì)機(jī)器學(xué)習(xí)教育應(yīng)用的對(duì)抗樣本攻擊和惡意侵?jǐn)_來逃避檢測(cè)，這會(huì)導(dǎo)致應(yīng)用的功用大打折扣。例如，將待檢測(cè)的作業(yè)處理成對(duì)抗樣本來逃避判改系統(tǒng)的檢測(cè)，使系統(tǒng)無法做出正確的批改，應(yīng)用的可用性、準(zhǔn)確性都大大降低。再者，攻擊者可以通過“數(shù)據(jù)投毒”，即在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性，進(jìn)而導(dǎo)致訓(xùn)練的算法模型出現(xiàn)偏差。例如，在作業(yè)批改式應(yīng)用中，被污染的數(shù)據(jù)輸入模型后，導(dǎo)致模型決策出現(xiàn)偏差，并將錯(cuò)誤的批改結(jié)果反饋給教師和學(xué)生。直接導(dǎo)致用戶體驗(yàn)變差，降低客戶信心和黏度。

令人不安的是，傳統(tǒng)的信息系統(tǒng)安全領(lǐng)域下的數(shù)據(jù)隱私保護(hù)問題，可以通過諸如隨機(jī)化響應(yīng)以及隱私保護(hù)的數(shù)據(jù)發(fā)布機(jī)制[35-37]予以解決，而干擾應(yīng)用功能的投毒攻擊和對(duì)抗樣本攻擊作為非傳統(tǒng)的技術(shù)攻擊手段，很大程度上無法使用傳統(tǒng)信息安全技術(shù)規(guī)避。因?yàn)榧词共淮嬖谌魏吻爸帽尘靶畔?，攻擊者還是能夠依據(jù)行業(yè)經(jīng)驗(yàn)進(jìn)行投毒和對(duì)抗樣本攻擊。雖然當(dāng)前計(jì)算機(jī)領(lǐng)域研究人員在極力研究應(yīng)對(duì)方案，但目前為止，并未有特別行之有效、一勞永逸的抵御方案。

四、典型人工智能教育應(yīng)用面臨的算法功能安全風(fēng)險(xiǎn)分析

傳統(tǒng)的教育信息系統(tǒng)功能被干擾的現(xiàn)象中，攻擊者往往通過系統(tǒng)軟件開發(fā)或網(wǎng)絡(luò)安全設(shè)置缺陷進(jìn)入系統(tǒng)，實(shí)施修改數(shù)據(jù)乃至關(guān)停服務(wù)等行為。而前文所述算法中的干擾系統(tǒng)功能的行為都是通過正常的樣本輸入行為，來誤導(dǎo)或者誘導(dǎo)算法模型產(chǎn)生誤判，行為具有較高的迷惑性和隱蔽性。為使人工智能教育應(yīng)用從業(yè)人員認(rèn)識(shí)到這種功能安全風(fēng)險(xiǎn)的迷惑性、隱蔽性和危害性，本文接下來結(jié)合具體應(yīng)用場(chǎng)景對(duì)干擾系統(tǒng)功能的投毒攻擊與對(duì)抗樣本攻擊的發(fā)動(dòng)原理與攻擊后果做詳細(xì)分析。

(一)典型人工智能教育應(yīng)用及其采用的機(jī)器學(xué)習(xí)技術(shù)介紹

通過對(duì)市場(chǎng)上已有的人工智能教育應(yīng)用進(jìn)行系統(tǒng)梳理，根據(jù)其服務(wù)的對(duì)象、所服務(wù)的教學(xué)與管理環(huán)節(jié)，我們對(duì)現(xiàn)有典型人工智能教育應(yīng)用進(jìn)行歸類，如表1所示。其應(yīng)用功能邏輯關(guān)系如下：

對(duì)于教師，現(xiàn)有的人工智能教育應(yīng)用一方面致力于幫助其對(duì)自身課堂教學(xué)行為進(jìn)行分析評(píng)估，主要通過人工智能課堂觀察的視頻分析功能實(shí)現(xiàn)；另一方面致力于減輕其現(xiàn)有教學(xué)負(fù)擔(dān)，主要通過自動(dòng)化作業(yè)批改(即作業(yè)批改及反饋)及自動(dòng)生成學(xué)生過程性統(tǒng)計(jì)分析報(bào)告(即長(zhǎng)期綜合評(píng)價(jià))來實(shí)現(xiàn)。

對(duì)于學(xué)生，現(xiàn)有人工智能教育應(yīng)用一方面致力于在學(xué)生開展自主學(xué)習(xí)時(shí)主動(dòng)提供學(xué)習(xí)建議，包括學(xué)習(xí)前的個(gè)性化學(xué)習(xí)路徑規(guī)劃、學(xué)習(xí)中的內(nèi)容動(dòng)態(tài)推送、學(xué)習(xí)后的自適應(yīng)評(píng)測(cè)三方面來實(shí)現(xiàn)；另一方面致力于在學(xué)生被動(dòng)練習(xí)時(shí)提供不同形式的信息交互反饋服務(wù)，包括圖文交互的拍照搜題(有答案時(shí)的答案搜索，無答案時(shí)的人工在線解答服務(wù))和語音交互的人機(jī)互動(dòng)答疑(教育機(jī)器人)。

對(duì)于教學(xué)管理人員，現(xiàn)有人工智能教育應(yīng)用主要致力于為其提供智能考務(wù)服務(wù)，包括考試前的自動(dòng)化考場(chǎng)分配和智能組卷、考試后的智能閱卷和自動(dòng)化統(tǒng)計(jì)分析。

更具體的功能、技術(shù)及其面臨的安全風(fēng)險(xiǎn)見后文的詳細(xì)說明。

表1 現(xiàn)有典型人工智能教育應(yīng)用分類

(二)典型人工智能教育應(yīng)用面臨的算法安全風(fēng)險(xiǎn)分析

1.面向教師的人工智能教育應(yīng)用面臨的算法安全風(fēng)險(xiǎn)

(1)課堂教學(xué)分析類應(yīng)用的安全風(fēng)險(xiǎn)

課堂教學(xué)分析類機(jī)器學(xué)習(xí)教育應(yīng)用利用診斷平臺(tái)對(duì)常規(guī)課堂教學(xué)視頻素材進(jìn)行識(shí)別，得到課堂中的教學(xué)言語和行為等交互數(shù)據(jù)，然后結(jié)合教學(xué)診斷、教學(xué)設(shè)計(jì)改進(jìn)和教學(xué)評(píng)價(jià)三個(gè)場(chǎng)景，提供可解釋的診斷結(jié)果。

視頻分析是課堂教學(xué)分析應(yīng)用中，教學(xué)診斷模塊實(shí)現(xiàn)教學(xué)事件分類識(shí)別、教學(xué)設(shè)計(jì)模塊完成教學(xué)法結(jié)構(gòu)分析的核心技術(shù)，也是教學(xué)評(píng)價(jià)模塊完成教學(xué)評(píng)語和教學(xué)事件綁定的關(guān)鍵支撐。典型的基于深度學(xué)習(xí)的視頻分析系統(tǒng)主要包含兩個(gè)部分。一是使用卷積神經(jīng)網(wǎng)絡(luò)完成視頻中關(guān)鍵幀提取；二是使用循環(huán)神經(jīng)網(wǎng)絡(luò)，進(jìn)行語音識(shí)別生成語句標(biāo)注。

在關(guān)鍵幀提取階段，系統(tǒng)可能受到對(duì)抗樣本攻擊。攻擊者可以通過對(duì)關(guān)鍵幀圖像添加少量人眼覺察不到的擾動(dòng)，如疊加一個(gè)小向量來擾動(dòng)關(guān)鍵幀圖像構(gòu)造對(duì)抗樣本，或通過生成特定于任務(wù)損失減數(shù)的對(duì)抗樣本，甚至通過直接改變關(guān)鍵幀圖像中的一個(gè)或幾個(gè)像素，來實(shí)現(xiàn)對(duì)抗攻擊。最終，誤導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)做出錯(cuò)誤的分類，干擾教學(xué)診斷中的事件識(shí)別及分類功能。此外，系統(tǒng)也可能受到投毒攻擊的安全威脅，攻擊者可以通過模型后門對(duì)識(shí)別與分類進(jìn)行操控，使模型無法識(shí)別某些教學(xué)行為或者對(duì)教學(xué)行為錯(cuò)誤分類，影響教學(xué)診斷模塊的行為分析。

在標(biāo)注生成階段，攻擊者可以通過三種方法來構(gòu)造對(duì)抗樣本發(fā)動(dòng)攻擊。一是標(biāo)注克隆攻擊，對(duì)一張圖片和一個(gè)目標(biāo)標(biāo)注句子生成一個(gè)對(duì)抗樣本，使得標(biāo)注系統(tǒng)在其上的標(biāo)注與目標(biāo)標(biāo)注完全一致；二是標(biāo)注異化攻擊，對(duì)一張圖片，生成一個(gè)對(duì)抗樣本，使得標(biāo)注系統(tǒng)在其上的標(biāo)注與原標(biāo)注無關(guān)；三是關(guān)鍵詞攻擊，對(duì)一張圖片和一組關(guān)鍵詞，生成一個(gè)對(duì)抗樣本，使得標(biāo)注系統(tǒng)在其上的標(biāo)注含有所有的關(guān)鍵詞。對(duì)標(biāo)注系統(tǒng)的對(duì)抗攻擊將直接影響對(duì)教學(xué)事件的特征分析與分類，導(dǎo)致系統(tǒng)無法完成教學(xué)事件類型分類和時(shí)間分布圖生成，進(jìn)而導(dǎo)致逆向分析評(píng)語無法實(shí)現(xiàn)，直接導(dǎo)致系統(tǒng)喪失教學(xué)評(píng)價(jià)功能。

(2)全面智能測(cè)評(píng)類應(yīng)用的安全風(fēng)險(xiǎn)

全面智能測(cè)評(píng)類應(yīng)用能夠高效完成人類的體力勞動(dòng)、腦力勞動(dòng)或者認(rèn)知工作，被廣泛運(yùn)用于兩大場(chǎng)景，一是替代教師完成批改作業(yè)等重復(fù)性、機(jī)械性的教學(xué)輔助工作，幫助教師節(jié)約時(shí)間與精力；二是收集并分析平臺(tái)中記錄的學(xué)習(xí)數(shù)據(jù)，幫助教師對(duì)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)及效果進(jìn)行評(píng)價(jià)。

全面智能測(cè)評(píng)類應(yīng)用的主要功能是作業(yè)批改與反饋和長(zhǎng)期綜合評(píng)價(jià)。①作業(yè)批改與反饋即將作業(yè)與標(biāo)準(zhǔn)答案進(jìn)行對(duì)比分析來完成自動(dòng)判改并生成全面且精細(xì)的點(diǎn)評(píng)反饋。②學(xué)生長(zhǎng)期綜合評(píng)價(jià)即系統(tǒng)對(duì)學(xué)生的學(xué)習(xí)行為數(shù)據(jù)和作業(yè)等學(xué)業(yè)數(shù)據(jù)等進(jìn)行學(xué)情分析，通過時(shí)間軸的方式記錄學(xué)習(xí)者的成長(zhǎng)軌跡，形成對(duì)學(xué)生個(gè)體與學(xué)生整體的畫像，并生成可視化的學(xué)情分析報(bào)告。

在作業(yè)批改和反饋系統(tǒng)中，攻擊者可以通過將作業(yè)文本更改少量的字符，或引入一些類似于人們現(xiàn)實(shí)中也會(huì)寫的“錯(cuò)別字”，再或進(jìn)行不改變語義的重述來構(gòu)造對(duì)抗樣本，實(shí)施針對(duì)自然語言處理技術(shù)的文本對(duì)抗攻擊。這種文本對(duì)抗攻擊一方面會(huì)使系統(tǒng)在進(jìn)行學(xué)習(xí)者語料與標(biāo)準(zhǔn)答案語料數(shù)據(jù)比對(duì)分析時(shí)無法正確測(cè)量出兩者之間的“距離”數(shù)據(jù)，導(dǎo)致發(fā)生誤判。另一方面可能會(huì)導(dǎo)致系統(tǒng)無法按特定的分析規(guī)則將“距離”映射轉(zhuǎn)化為用戶可理解的分?jǐn)?shù)、總評(píng)語、按句評(píng)語等反饋內(nèi)容，使系統(tǒng)喪失錯(cuò)誤解析的功能。除了攻擊者外，有些弄虛作假的用戶也可以發(fā)動(dòng)投毒攻擊來提高自己的分?jǐn)?shù)。一方面，他們可以通過觀察大量反饋內(nèi)容推測(cè)系統(tǒng)的評(píng)分標(biāo)準(zhǔn)，找出“得高分”的方法，在答題時(shí)欺騙機(jī)器獲得高分。另一方面，他們也可以持續(xù)向系統(tǒng)輸入與題目毫無聯(lián)系、無意義的內(nèi)容作為答案來進(jìn)行數(shù)據(jù)投毒，就可以將反饋系統(tǒng)武器化，并以此攻擊其他合法用戶和內(nèi)容，讓其他用戶的答案無法獲得正確的批改，從而提升自己的成績(jī)。

在學(xué)生長(zhǎng)期綜合評(píng)價(jià)系統(tǒng)中，學(xué)生分類是系統(tǒng)進(jìn)行學(xué)生畫像與群體畫像的重要支撐。學(xué)習(xí)行為數(shù)據(jù)和作業(yè)等學(xué)業(yè)數(shù)據(jù)在一定程度上能夠反映學(xué)生多方面的能力，是對(duì)學(xué)生進(jìn)行長(zhǎng)期、綜合評(píng)價(jià)的重要指標(biāo)。通過對(duì)這些數(shù)據(jù)進(jìn)行分析，系統(tǒng)能夠評(píng)價(jià)學(xué)生在不同能力指標(biāo)上隸屬于不同的水平類別，然后將學(xué)生在不同能力上的水平標(biāo)簽匯聚起來進(jìn)行綜合的評(píng)價(jià)，再搭配學(xué)習(xí)者的成長(zhǎng)軌跡，形成學(xué)習(xí)者個(gè)體畫像，實(shí)現(xiàn)對(duì)學(xué)生進(jìn)行長(zhǎng)期綜合評(píng)價(jià)。對(duì)分類功能產(chǎn)生巨大干擾的往往是投毒攻擊與對(duì)抗樣本攻擊。在投毒攻擊方面，一方面，攻擊者可以通過污染學(xué)生行為數(shù)據(jù)集來讓分類模型對(duì)能力水平高低的分類邊界發(fā)生偏移，從而降低模型的準(zhǔn)確率。另一方面，攻擊者也可以通過后門，注入特定訓(xùn)練數(shù)據(jù)，操控模型的核心算法分類樹，使模型的分類功能按照自己的意愿進(jìn)行，比如，將自己分類到高能力水平，獲得高評(píng)價(jià)為自己謀名利，或使他人獲得差的評(píng)價(jià)以提升自己的排名。在對(duì)抗樣本攻擊方面，攻擊者可以通過設(shè)計(jì)特定樣本來迷惑分類器，使能力水平分類結(jié)果產(chǎn)生偏差，進(jìn)而導(dǎo)致學(xué)生個(gè)體與整體畫像形成受阻，無法生成可視化的學(xué)情分析報(bào)告。

2.面向?qū)W生的人工智能教育應(yīng)用面臨的算法安全風(fēng)險(xiǎn)

(1)智能教學(xué)平臺(tái)類應(yīng)用的安全風(fēng)險(xiǎn)

智能教學(xué)平臺(tái)的核心是人工智能自適應(yīng)學(xué)習(xí)系統(tǒng)，其主要功能是運(yùn)用人工智能技術(shù)分析學(xué)習(xí)者所學(xué)內(nèi)容，構(gòu)建學(xué)習(xí)者知識(shí)圖譜，為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)內(nèi)容以及學(xué)習(xí)方案；支持自適應(yīng)學(xué)習(xí)，實(shí)現(xiàn)學(xué)習(xí)內(nèi)容的智能推薦，為教師和學(xué)生提供個(gè)性化教與學(xué)服務(wù)。包括自適應(yīng)測(cè)評(píng)、個(gè)性化學(xué)習(xí)路徑規(guī)劃和學(xué)習(xí)內(nèi)容動(dòng)態(tài)推送三個(gè)模塊。①自適應(yīng)測(cè)評(píng)能夠?qū)崟r(shí)測(cè)評(píng)學(xué)生對(duì)每個(gè)知識(shí)點(diǎn)的掌握水平，自動(dòng)識(shí)別學(xué)習(xí)者的錯(cuò)誤并推斷錯(cuò)誤的原因，實(shí)現(xiàn)學(xué)生知識(shí)水平測(cè)量、錯(cuò)誤模型搭建、學(xué)生個(gè)性特征挖掘(如認(rèn)知特征、情感特征等)。②個(gè)性化學(xué)習(xí)路徑規(guī)劃能自動(dòng)識(shí)別學(xué)習(xí)需求，根據(jù)用戶特征信息(如學(xué)習(xí)偏好、知識(shí)水平等)動(dòng)態(tài)呈現(xiàn)個(gè)性化的學(xué)習(xí)活動(dòng)序列(含學(xué)習(xí)對(duì)象)，從而更好地完成知識(shí)建構(gòu)。③學(xué)習(xí)內(nèi)容動(dòng)態(tài)推送能夠針對(duì)學(xué)生的個(gè)性化學(xué)習(xí)路徑，匹配最合適的學(xué)習(xí)內(nèi)容，使內(nèi)容難度與學(xué)生能力匹配、內(nèi)容類型與學(xué)生偏好匹配，從稍高于學(xué)生當(dāng)前的水平逐漸增加，形成循序漸進(jìn)的學(xué)習(xí)路徑，讓學(xué)生不斷獲得成就感，提升學(xué)習(xí)樂趣。

錯(cuò)誤模型是平臺(tái)實(shí)現(xiàn)自動(dòng)識(shí)別錯(cuò)誤和推斷錯(cuò)誤原因功能的基礎(chǔ)，常以學(xué)習(xí)者的錯(cuò)誤/誤解數(shù)據(jù)為輸入，基于攝動(dòng)模型和約束模型來建模。在錯(cuò)誤模型搭建時(shí)，攻擊者可以通過構(gòu)造對(duì)抗樣本發(fā)動(dòng)對(duì)抗攻擊，使攝動(dòng)模型發(fā)生分類錯(cuò)誤，無法將正確的反應(yīng)形成領(lǐng)域知識(shí)的規(guī)則，也無法將錯(cuò)誤反應(yīng)存入錯(cuò)誤庫中成為錯(cuò)誤規(guī)則，從而使系統(tǒng)喪失自動(dòng)識(shí)別錯(cuò)誤的功能。約束模型通過分析學(xué)生求解問題時(shí)所達(dá)到的問題求解狀態(tài)來推斷學(xué)生的出錯(cuò)原因。這意味著約束模型所接收的訓(xùn)練數(shù)據(jù)是不斷更新的學(xué)生響應(yīng)數(shù)據(jù)，若此時(shí)攻擊者向訓(xùn)練數(shù)據(jù)中投入大量的惡意數(shù)據(jù)，很可能會(huì)影響模型的預(yù)測(cè)功能，導(dǎo)致模型喪失推斷錯(cuò)誤原因的功能。

學(xué)習(xí)活動(dòng)序列是學(xué)習(xí)路徑的主要內(nèi)容，能夠根據(jù)學(xué)習(xí)者特征模型構(gòu)建知識(shí)學(xué)習(xí)的先后次序，它的實(shí)現(xiàn)依賴知識(shí)圖譜。知識(shí)圖譜包括知識(shí)拆分、打標(biāo)簽兩個(gè)步驟。知識(shí)點(diǎn)拆分是構(gòu)建知識(shí)圖譜的基礎(chǔ)，它根據(jù)知識(shí)難易程度與知識(shí)點(diǎn)間關(guān)聯(lián)程度對(duì)知識(shí)進(jìn)行劃分。敵手可以通過模型后門，在模型擁有者毫不知情的情況下操控分類樹進(jìn)行錯(cuò)誤的知識(shí)點(diǎn)分類。打標(biāo)簽是構(gòu)建知識(shí)圖譜的核心，也是依據(jù)知識(shí)圖譜進(jìn)行學(xué)習(xí)路徑規(guī)劃的關(guān)鍵。每個(gè)知識(shí)點(diǎn)都要打上標(biāo)簽，標(biāo)簽包括內(nèi)容、難易度、區(qū)分度等等，知識(shí)點(diǎn)的顆粒越細(xì)，標(biāo)簽越多，匹配學(xué)習(xí)路徑時(shí)就更精準(zhǔn)。攻擊者可以在打標(biāo)簽時(shí)發(fā)動(dòng)對(duì)抗樣本攻擊，使知識(shí)點(diǎn)標(biāo)簽缺失、錯(cuò)誤，進(jìn)而導(dǎo)致正確的學(xué)習(xí)序列無法形成。攻擊者也可以發(fā)動(dòng)投毒攻擊，在系統(tǒng)進(jìn)行標(biāo)簽更新時(shí)，注入大量的惡意數(shù)據(jù)，使打標(biāo)簽?zāi)Ｐ蛯?duì)知識(shí)點(diǎn)的分類發(fā)生偏移，降低標(biāo)簽的準(zhǔn)確性。

學(xué)習(xí)內(nèi)容動(dòng)態(tài)推送包括實(shí)時(shí)數(shù)據(jù)收集和內(nèi)容匹配計(jì)算。數(shù)據(jù)的實(shí)時(shí)收集既是自適應(yīng)系統(tǒng)具備自適應(yīng)性的關(guān)鍵，也是招致安全攻擊的根源，在數(shù)據(jù)的收集過程中，攻擊者能夠利用數(shù)據(jù)的實(shí)時(shí)性，向數(shù)據(jù)中摻入惡意數(shù)據(jù)，破壞自適應(yīng)序列的形成。內(nèi)容匹配計(jì)算基于回歸樹與關(guān)聯(lián)規(guī)則算法實(shí)現(xiàn)，在進(jìn)行內(nèi)容匹配時(shí)，攻擊者可以通過模型后門，對(duì)回歸樹進(jìn)行操控，致使系統(tǒng)無法推測(cè)學(xué)生所處的能力層次，無法匹配出恰當(dāng)難度與類型的學(xué)習(xí)內(nèi)容。攻擊者也可以通過構(gòu)造對(duì)抗樣本，使系統(tǒng)無法通過關(guān)聯(lián)分析梳理內(nèi)容間的聯(lián)系、制定合適的學(xué)習(xí)順序，導(dǎo)致推薦的學(xué)習(xí)內(nèi)容無法形成循序漸進(jìn)的學(xué)習(xí)模式。

(2)拍照搜題類應(yīng)用的安全風(fēng)險(xiǎn)

拍照搜題類應(yīng)用通過大規(guī)模題庫支持，基于圖像識(shí)別技術(shù)，由系統(tǒng)匹配題庫，自動(dòng)為學(xué)習(xí)者返回題目答案和解題方法并調(diào)配教師進(jìn)行一對(duì)一在線答疑。

拍照搜題類應(yīng)用主要由拍照搜題和在線答疑兩個(gè)模塊組成。其主要工作流程為：當(dāng)學(xué)習(xí)者在學(xué)習(xí)中遇到疑惑時(shí)，利用手機(jī)拍照功能拍下題目上傳搜索即可獲取題目及答案，若系統(tǒng)呈現(xiàn)的內(nèi)容無法解決學(xué)生問題時(shí)，學(xué)生可以發(fā)出在線答疑請(qǐng)求，系統(tǒng)將自動(dòng)根據(jù)學(xué)生情況匹配合適的優(yōu)質(zhì)老師進(jìn)行一對(duì)一實(shí)時(shí)答疑。主要使用兩方面技術(shù)：①利用圖像識(shí)別技術(shù)、自然語言處理技術(shù)自動(dòng)地為學(xué)生提供搜索題目中所包含的知識(shí)要點(diǎn)以及難點(diǎn)；②利用分類與回歸樹、遺傳算法自動(dòng)地為學(xué)生匹配適合的教師進(jìn)行1V1講解。

拍照搜題模塊的主要任務(wù)是將拍照?qǐng)D片轉(zhuǎn)成文字，然后進(jìn)行文本分析，再由系統(tǒng)匹配題庫，自動(dòng)為學(xué)習(xí)者返回題目答案和解題方法。當(dāng)攻擊者對(duì)系統(tǒng)發(fā)起對(duì)抗樣本攻擊時(shí)，圖像識(shí)別和文本分析功能會(huì)受到影響。對(duì)于圖像識(shí)別技術(shù)來說，當(dāng)上傳的題目被切割為一個(gè)個(gè)的字以后，對(duì)抗樣本會(huì)在單字識(shí)別模型對(duì)每個(gè)字進(jìn)行多次卷集和下采樣時(shí)進(jìn)行干擾，導(dǎo)致模型無法實(shí)現(xiàn)題目文字的識(shí)別，即圖像識(shí)別技術(shù)失效。對(duì)于文本分析技術(shù)來說，對(duì)抗樣本能夠?qū)ψ匀徽Z言推理模型發(fā)動(dòng)對(duì)抗攻擊，導(dǎo)致其不能對(duì)識(shí)別出的文字做自然語言處理，無法完成對(duì)題目的理解與分析。在此情況下，系統(tǒng)將無法與題庫匹配，反饋相應(yīng)的題目答案和解題方法，拍照搜題功能將完全喪失。

在線答疑模塊的核心功能是為學(xué)生找到最合適的講題教師，其功能實(shí)現(xiàn)的基礎(chǔ)是分別對(duì)學(xué)生與教師進(jìn)行分析形成學(xué)生畫像與教師畫像，依據(jù)畫像特征實(shí)現(xiàn)最合適的匹配。一方面，在學(xué)生畫像的生成過程中，攻擊者通過對(duì)抗樣本攻擊，能夠干擾系統(tǒng)根據(jù)樹狀結(jié)構(gòu)對(duì)題目和知識(shí)進(jìn)行分類的功能，使其無法完成學(xué)生知識(shí)水平分析，導(dǎo)致系統(tǒng)無法完成知識(shí)結(jié)構(gòu)建模，形成學(xué)生畫像。攻擊者也可以發(fā)動(dòng)投毒攻擊，在神經(jīng)網(wǎng)絡(luò)模型的輸入中摻雜有毒數(shù)據(jù)，導(dǎo)致模型無法準(zhǔn)確抽取學(xué)生的各種知識(shí)特征，對(duì)接下來教師分配和調(diào)度的策略會(huì)產(chǎn)生影響。另一方面，攻擊者也可以利用投毒攻擊干擾分類樹算法，對(duì)教師畫像的形成進(jìn)行干擾，導(dǎo)致系統(tǒng)無法對(duì)教師進(jìn)行分類；也能對(duì)回歸樹進(jìn)行干擾，導(dǎo)致系統(tǒng)無法預(yù)測(cè)知識(shí)點(diǎn)講解教師的供應(yīng)量和知識(shí)點(diǎn)學(xué)習(xí)學(xué)生的需求量，無法完成在線師生資源的匹配。

(3)智能學(xué)習(xí)助手類應(yīng)用的安全風(fēng)險(xiǎn)

智能學(xué)習(xí)助手是為促進(jìn)智能化教與學(xué)而設(shè)計(jì)的一種人工智能應(yīng)用，具有較強(qiáng)的互動(dòng)和溝通能力，能夠扮演教師、學(xué)習(xí)同伴、教學(xué)助理或顧問等多重角色，與使用者進(jìn)行互動(dòng)。該類應(yīng)用不僅在課前備課、課堂互動(dòng)和課后評(píng)價(jià)方面對(duì)教師起著輔助作用，而且在提高學(xué)生學(xué)習(xí)興趣，培養(yǎng)學(xué)生分析能力、創(chuàng)造能力和實(shí)踐能力等方面也發(fā)揮著重要的作用。

智能學(xué)習(xí)助手的主要功能是人機(jī)互動(dòng)答疑功能。該類應(yīng)用提供面向課前、課堂、課后的全學(xué)習(xí)場(chǎng)景的應(yīng)用與服務(wù)，能夠在學(xué)生學(xué)習(xí)全過程中隨時(shí)與學(xué)生進(jìn)行人機(jī)互動(dòng)答疑，及時(shí)為學(xué)生解惑，提升學(xué)生學(xué)習(xí)體驗(yàn)。

互動(dòng)答疑系統(tǒng)能夠直接與用戶溝通，回答用戶問題并給予指導(dǎo)意見，大體分為接受、分析和反應(yīng)三個(gè)階段。首先在接受用戶信息階段，攻擊者能夠?qū)φZ音識(shí)別中的循環(huán)神經(jīng)網(wǎng)絡(luò)發(fā)動(dòng)對(duì)抗攻擊和投毒攻擊，使系統(tǒng)無法完成從所接收的信號(hào)中提取合適的特征向量來訓(xùn)練聲學(xué)模型，導(dǎo)致后續(xù)語音解碼和搜索算法的分析過程無法進(jìn)行。其次，在NLP的語義分析功能的意圖識(shí)別階段，攻擊者也可以采取投毒攻擊，對(duì)文本向量化的詞袋模型或詞向量進(jìn)行干擾，導(dǎo)致系統(tǒng)無法完成語言模型構(gòu)建，無法完成文本處理與分析。此外，攻擊者也可以發(fā)起對(duì)抗樣本攻擊，使系統(tǒng)無法將用戶的話語分類到相應(yīng)的意圖種類，導(dǎo)致系統(tǒng)不能準(zhǔn)確的理解用戶的意圖，不能給予用戶準(zhǔn)確的回復(fù)。在反應(yīng)階段，攻擊者可以通過干擾循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)語音合成過程中的語言處理、韻律處理和聲學(xué)處理進(jìn)行干擾，導(dǎo)致系統(tǒng)無法合成語音，以語音形式與用戶溝通。

3.面向教學(xué)管理的人工智能教育應(yīng)用面臨的算法安全風(fēng)險(xiǎn)

(1)智能考務(wù)類應(yīng)用的安全風(fēng)險(xiǎn)

智能考務(wù)是近年來教育人工智能領(lǐng)域中興起的又一應(yīng)用場(chǎng)景，它能夠管理及規(guī)范考前、考后相關(guān)工作流程，減輕管理人員工作負(fù)擔(dān)，降低考務(wù)管理成本。其主要功能包括考場(chǎng)與監(jiān)考分配、智能組卷、智能閱卷、成績(jī)統(tǒng)計(jì)分析四個(gè)方面。

考場(chǎng)與監(jiān)考分配模塊采用智能化的孤島編排模式來自動(dòng)編排考場(chǎng)，使每個(gè)考生前后左右的考生都來自不同學(xué)?；虬嗉?jí)，以降低抄襲的可能性。該模塊的核心是動(dòng)態(tài)規(guī)劃算法，當(dāng)敵手發(fā)動(dòng)對(duì)抗樣本攻擊時(shí)，狀態(tài)轉(zhuǎn)移方程無法尋找到合適邊界條件，導(dǎo)致動(dòng)態(tài)規(guī)劃算法失效，使系統(tǒng)的孤島編排模式失去效用。

在智能組卷模塊中，能夠進(jìn)行可視化組卷，還能夠進(jìn)行試題難度預(yù)估，從而保證試卷質(zhì)量。系統(tǒng)通過對(duì)歷年的考試大數(shù)據(jù)[38]進(jìn)行整合，經(jīng)過多次訓(xùn)練迭代建立試題與難度之間的對(duì)應(yīng)關(guān)系，并以此為基礎(chǔ)訓(xùn)練出試題難度模型。當(dāng)進(jìn)行過分詞、詞嵌入、深度表征等預(yù)處理的新試題投入到模型中時(shí)，系統(tǒng)會(huì)自動(dòng)計(jì)算出該題在題庫中所對(duì)應(yīng)的難度值，從而為命題人提供參考。該功能模塊的核心技術(shù)支撐是分類決策樹，當(dāng)攻擊者發(fā)動(dòng)投毒攻擊或?qū)箻颖竟魰r(shí)，都能破壞決策樹算法的分類功能，進(jìn)而影響題目知識(shí)屬性標(biāo)簽以及難度值的生成，導(dǎo)致系統(tǒng)無法根據(jù)搜題算法在題庫中選擇合適的題目組卷，也無法為命題人提供難度值參考。

智能閱卷模塊是智能教務(wù)系統(tǒng)中涉及人工智能技術(shù)最多的功能板塊，包括問卷掃描和考試閱卷兩個(gè)階段。在問卷掃描階段，攻擊者可以通過投毒攻擊使光學(xué)字符識(shí)別模型的分類器發(fā)生偏移，導(dǎo)致其無法將紙上的字符正確轉(zhuǎn)化成計(jì)算機(jī)文字，從而無法完成客觀題的批改。在考試閱卷階段，攻擊者可以通過將考生的答題卡構(gòu)造成對(duì)抗樣本來實(shí)施對(duì)抗樣本攻擊，使光學(xué)字符識(shí)別使用的卷積神經(jīng)網(wǎng)絡(luò)發(fā)生誤判，最直接的后果是導(dǎo)致客觀題的判改發(fā)生錯(cuò)誤，會(huì)對(duì)智能閱卷的準(zhǔn)確率產(chǎn)生重大影響。

在成績(jī)統(tǒng)計(jì)分析模塊中，系統(tǒng)在前述模塊記錄的考生的答題內(nèi)容及評(píng)分結(jié)果數(shù)據(jù)基礎(chǔ)上，再通過統(tǒng)計(jì)分析來提供學(xué)生成績(jī)分析和統(tǒng)計(jì)報(bào)告。該模塊的功能核心是基于分類方法的學(xué)生成績(jī)等級(jí)劃分，當(dāng)受到投毒或?qū)箻颖竟魰r(shí)，分類模型的邊界會(huì)發(fā)生偏移，導(dǎo)致分類方法無法正確進(jìn)行學(xué)生成績(jī)等級(jí)劃分，影響成績(jī)統(tǒng)計(jì)分析對(duì)教學(xué)的反饋指導(dǎo)作用，使課堂教學(xué)安排和針對(duì)性強(qiáng)化訓(xùn)練的實(shí)施受到干擾。

五、人工智能教育應(yīng)用面臨的算法功能安全風(fēng)險(xiǎn)消解建議

與以往人類遭遇的新型安全風(fēng)險(xiǎn)一樣，人工智能教育應(yīng)用面臨的這種算法功能被干擾的安全風(fēng)險(xiǎn)結(jié)局有兩種。其一是在人工智能教育應(yīng)用真正大面積落地應(yīng)用之前，基礎(chǔ)算法在未來不長(zhǎng)的時(shí)間得到長(zhǎng)足發(fā)展，功能安全風(fēng)險(xiǎn)被系統(tǒng)性消除，這是最理想的一種結(jié)局。其二，假若這種技術(shù)風(fēng)險(xiǎn)在短期內(nèi)無法消除，或者就如同流感病毒與人類長(zhǎng)期共存一般，形成道高一尺魔高一丈的對(duì)立統(tǒng)一關(guān)系，那人工智能教育應(yīng)用便面臨著不得不帶病上陣的局面。在這種局面下，應(yīng)當(dāng)更多從運(yùn)行管理層面給予補(bǔ)救。本文初步給出如下建議：

(一)建立人工智能教育應(yīng)用算法風(fēng)險(xiǎn)預(yù)警機(jī)制

鑒于干擾應(yīng)用功能風(fēng)險(xiǎn)的客觀存在，教育用戶需要與風(fēng)險(xiǎn)共存，管理部門和服務(wù)提供商，應(yīng)該讓用戶充分知曉這種風(fēng)險(xiǎn)的存在。需要綜合多方因素，客觀評(píng)估應(yīng)用功能與利益關(guān)聯(lián)程度。如利益相關(guān)因素：考試成績(jī)和升學(xué)直接相關(guān)，干擾成功獲益巨大，招致惡意干擾的風(fēng)險(xiǎn)可能性越大；應(yīng)用市場(chǎng)競(jìng)爭(zhēng)狀況：普及發(fā)展期的藍(lán)海市場(chǎng)，各方都在增長(zhǎng)，相互惡性競(jìng)爭(zhēng)小，制造干擾可能性大，而存量?jī)?yōu)化的紅海市場(chǎng)，各方零和博弈，相互惡性競(jìng)爭(zhēng)大，制造干擾可能性強(qiáng)等等。最終給予不同類別、不同發(fā)展階段的應(yīng)用，標(biāo)以不同級(jí)別的風(fēng)險(xiǎn)標(biāo)識(shí)，在用戶使用相關(guān)應(yīng)用時(shí)予以告知，以避免用戶對(duì)應(yīng)用系統(tǒng)的盲目信任，而忽視了基本的防范。

(二)加強(qiáng)應(yīng)用外部用戶訪問秩序管控。

投毒攻擊是外部攻擊者利用算法更新訓(xùn)練數(shù)據(jù)集的時(shí)機(jī)，向應(yīng)用系統(tǒng)輸送大量“有毒”數(shù)據(jù)，導(dǎo)致模型邊界發(fā)生偏移。因此，應(yīng)該嚴(yán)格限定數(shù)據(jù)來源，如擯棄外部來源數(shù)據(jù)，盡可能由服務(wù)提供商或用戶自己收集并更新訓(xùn)練數(shù)據(jù)集，如拍照搜題類應(yīng)用，試題數(shù)據(jù)應(yīng)由服務(wù)提供商組織專班人馬采集整理數(shù)據(jù)，而不應(yīng)該簡(jiǎn)單依賴用戶提供數(shù)據(jù)。而對(duì)抗樣本攻擊中，攻擊者欺騙模型的對(duì)抗樣本，是通過大量測(cè)試應(yīng)用模型結(jié)果，試出導(dǎo)致模型錯(cuò)判的樣本。因此，應(yīng)限制單個(gè)用戶使用服務(wù)頻率和總次數(shù)，如采取類似鎖屏解鎖的懲罰性凍結(jié)時(shí)間機(jī)制，對(duì)于明顯異于常人的用戶，需要重點(diǎn)關(guān)注，并加以限定措施。通過上述縮小訓(xùn)練數(shù)據(jù)來源、限制應(yīng)用訪問速率的機(jī)制，盡可能減少外部攻擊者干擾系統(tǒng)的機(jī)會(huì)。

(三)確立應(yīng)用運(yùn)營(yíng)的內(nèi)部監(jiān)管獎(jiǎng)懲紀(jì)律

通過最小化應(yīng)用開放時(shí)空范圍，一定程度上壓制了外部惡意干擾行為的實(shí)施機(jī)會(huì)，但仍存在著系統(tǒng)內(nèi)部用戶變節(jié)、內(nèi)外串通可能性。因此，對(duì)于訓(xùn)練數(shù)據(jù)，為了防范投毒攻擊，應(yīng)建立從采集到錄入到存儲(chǔ)到使用全過程的責(zé)任到人管理制，清晰標(biāo)明數(shù)據(jù)的來源、行為、時(shí)間和目的，可以輔助以傳統(tǒng)數(shù)據(jù)安全技術(shù)，如區(qū)塊鏈技術(shù)進(jìn)行數(shù)據(jù)安全防護(hù)。對(duì)于一些敏感應(yīng)用的測(cè)試使用，如智能考務(wù)類，對(duì)于每一次應(yīng)用測(cè)試，都要執(zhí)行如申請(qǐng)審核、伴隨式記錄方法，以及人工審核服務(wù)功能，并對(duì)測(cè)試樣本和結(jié)果存檔備案，以備復(fù)核，防范對(duì)抗樣本攻擊，這方面可以借鑒當(dāng)前公安系統(tǒng)內(nèi)部采用的身份證查詢系統(tǒng)使用管理機(jī)制。

(四)構(gòu)建應(yīng)用安全運(yùn)營(yíng)法律防范體系

教育類應(yīng)用具有巨大的社會(huì)影響，其對(duì)應(yīng)的不僅僅是教育問題，更多時(shí)候往往涉及到教育公平、社會(huì)正義。干擾人工智能教育應(yīng)用功能正常運(yùn)行，誤導(dǎo)教育教學(xué)行為和結(jié)果，會(huì)給教育現(xiàn)代化進(jìn)程蒙上陰影，輕則影響教育、教學(xué)秩序，重則影響學(xué)生身心健康，激發(fā)民憤、民情。因此，針對(duì)惡意商業(yè)競(jìng)爭(zhēng)，干擾正常運(yùn)營(yíng)服務(wù)商的實(shí)體和法人，一經(jīng)查實(shí)，應(yīng)當(dāng)立法實(shí)行教育行業(yè)禁入；惡意協(xié)助外部第三方注入有毒數(shù)據(jù)、搜尋對(duì)抗樣本的內(nèi)部工作人員，一經(jīng)確認(rèn)，應(yīng)當(dāng)予以行政處罰并調(diào)離現(xiàn)有崗位，有犯罪行為的，應(yīng)當(dāng)移交司法部門審判；通過干擾應(yīng)用功能，獲取不正當(dāng)利益的用戶，應(yīng)當(dāng)取消誤導(dǎo)應(yīng)用得出偏頗結(jié)論獲得的所有不當(dāng)名譽(yù)和權(quán)益，并考慮計(jì)入諸如學(xué)術(shù)不端檔案的個(gè)人信用庫。

六、結(jié)語與展望

在人工智能教育應(yīng)用面臨著諸多傳統(tǒng)外部風(fēng)險(xiǎn)同時(shí)，人工智能算法自身內(nèi)部也蘊(yùn)含著功能安全風(fēng)險(xiǎn)?；蛘哒f，人工智能教育應(yīng)用應(yīng)用核心技術(shù)——機(jī)器學(xué)習(xí)算法面臨著投毒和對(duì)抗樣本兩類攻擊風(fēng)險(xiǎn)。它干擾了應(yīng)用功能正常運(yùn)行，是一種非傳統(tǒng)的安全風(fēng)險(xiǎn)，是機(jī)器學(xué)習(xí)算法所特有的技術(shù)缺陷，且當(dāng)前并未有較好的辦法予以根絕。而對(duì)當(dāng)前十分熱門的智能教學(xué)平臺(tái)、課堂教學(xué)分析、全面智能評(píng)測(cè)、拍照搜題、智能學(xué)習(xí)助手和智能考務(wù)六類典型的人工智能技術(shù)教育應(yīng)用的深入分析，也進(jìn)一步論證了干擾應(yīng)用功能這一非傳統(tǒng)安全風(fēng)險(xiǎn)，動(dòng)搖了所有人工智能教育應(yīng)用正常運(yùn)行的根基，且無一能夠幸免。這種非傳統(tǒng)安全風(fēng)險(xiǎn)一旦在關(guān)鍵事務(wù)上造成重大系統(tǒng)安全事故，形成對(duì)人工智能技術(shù)教育應(yīng)用的普遍負(fù)面印象，必將影響后期正常的技術(shù)應(yīng)用，亦或直接成為人工智能教育應(yīng)用的阿喀琉斯之踵。

盡管人工智能技術(shù)在過去七十余年的發(fā)展，已經(jīng)經(jīng)歷過三起兩落。許多從業(yè)人員認(rèn)為人工智能技術(shù)已經(jīng)渡過了技術(shù)發(fā)展前期的脆弱期，不會(huì)再出現(xiàn)根本性的發(fā)展波折了。但辯證法告訴我們，事物的發(fā)展從來不會(huì)是一帆風(fēng)順，而是螺旋梯度、曲折上升，對(duì)人工智能教育應(yīng)用途中要害問題的麻痹大意，將會(huì)導(dǎo)致人工智能教育應(yīng)用事業(yè)發(fā)展進(jìn)入下降螺旋。要認(rèn)識(shí)到的是，人工智能教育應(yīng)用面臨的要害問題很多，但很顯然，算法安全問題是其中十分關(guān)鍵的一個(gè)。一些學(xué)者認(rèn)為人工智能算法安全攻擊條件高，實(shí)施難度大，造成現(xiàn)實(shí)危害的可能性不大，因此可以忽略。但以發(fā)展的眼光看，只要攻擊成本小于回報(bào)，它就有存在空間，并且隨著資金和人才的富集，算法安全攻擊的成本會(huì)急劇下降。因此，人工智能算法安全攻擊問題解決不好，將會(huì)進(jìn)一步摧毀人工智能在教育行業(yè)應(yīng)用的生態(tài)基礎(chǔ)。由于教育涉及面的廣泛性、影響力的持久性，其對(duì)人工智能技術(shù)社會(huì)信任度的打擊巨大，而信任一旦失去，人工智能技術(shù)發(fā)展的前景便不復(fù)存在，最終可能導(dǎo)致人工智能的發(fā)展第三次跌入深淵，而這一局面是我國(guó)現(xiàn)代化事業(yè)發(fā)展的不可承受之重。