王 晶 余和芬 程 杉

（首都醫(yī)科大學基礎醫(yī)學院，北京 100069）

綜合性考試是當前高等教育教學評價中的最重要環(huán)節(jié)之一，這種考試方法不僅用于學生課程結業(yè)考試，更在教學過程中的形成性考核中廣泛使用[1]。主觀題目以往主要是通過人工評判，耗時時間相對較長，工作強度大，存在主觀錯誤或偏差風險。因此，主觀題評閱的自動化或半自動化處理是考試系統(tǒng)及其應用雖然困難較大且較少嘗試的一個領域，一直以來是很多教育工作者的期待或夢想。近年來，隨著計算機技術及互聯(lián)網(wǎng)技術的發(fā)展和優(yōu)化[2]，當前的技術已經(jīng)開始為這一問題的解決提供了現(xiàn)實的可行性[3]。一旦通過不斷地試驗和改進能夠實現(xiàn)主觀題的機器評分達到與人工閱卷的穩(wěn)定性和誤差相近的效果和水平，也就表明相應的算法和系統(tǒng)可以進入實用階段，這無疑也將會是自動化無紙化考試系統(tǒng)研發(fā)的一個突破性的里程碑。

在生物醫(yī)藥類全國性大型考試如國家執(zhí)業(yè)醫(yī)師資格考試，全國中學生生物學競賽考試及研究生入學西醫(yī)綜合和科目考試等等，應用計算機輔助評估（computer-aided evaluation，CAE）系統(tǒng)自動化閱卷已成為常態(tài)。但傳統(tǒng)的CAE 系統(tǒng)均僅支持在多個選項框架下的標準化試題，而并未支持主觀題答題的讀判[4]。

自2015年以來，本?；A醫(yī)學院多個學系逐步推廣使用基于網(wǎng)絡B/S（browser/server）構架的TCExam 開源在線考試系統(tǒng)結合自定制題庫接口程序模塊的“便攜式自啟動在線考試系統(tǒng)”[5]，并已經(jīng)服務多個學院學科的多類型考試。經(jīng)過數(shù)年來的探索、改進和積累，我們在對選擇題型評判評分實現(xiàn)全面支持的基礎上，通過借鑒語言學和人工智能的實用原理及常用算法，建立了主觀題自動閱卷的參考評分策略，并且完成了對已有系統(tǒng)的修改和升級以及實用場景測試。

1 便攜式自啟動在線考試系統(tǒng)的推廣應用案例和總結

該系統(tǒng)已經(jīng)成熟的應用在多個考試場景中，基本上滿足了大多數(shù)科目學業(yè)考試和形成性評價的主要需求，充分體現(xiàn)了該系統(tǒng)的靈活性及出色的性價比。在系統(tǒng)推廣和擴大應用的過程中，我們還系統(tǒng)解決了電子試卷和原始答題文件的存儲歸檔及考分記錄的查詢檢索問題。傳統(tǒng)考試管理中，試卷的保密、保存和痕跡管理一個重要環(huán)節(jié)，在學生畢業(yè)之前的全部考卷需要妥善保存和歸檔，空間和配套資源要求很高，還要考慮到隨時的復核、抽檢和查詢。由于醫(yī)學生的學制較長，考試科目較多，需要嚴格的保密，相應的成本更大。試卷查詢及回溯抽檢等工作的人力消耗也是不容忽視的問題。在電子化無紙考試系統(tǒng)內(nèi)解決傳統(tǒng)考試中試卷管理等同的規(guī)范化歸檔和查詢難題是發(fā)揮其優(yōu)勢的必需環(huán)節(jié)。由于原系統(tǒng)基于移動U 盤，對于存儲的保密性、權威性和可靠性有所疑慮。為此我們采取了一些針對性的解決措施。對于每次考試的記錄采取了三重保密及備份，一是對整個磁盤的全盤“凍存式”備份與考試監(jiān)考記錄等文件并入傳統(tǒng)紙媒方式保存；二是在TCExam 管理后臺對MySQL 數(shù)據(jù)庫資料導出備份；三是可加載的鏡像文件方式制作每次考試的工作狀態(tài)文件并且以日期碼標注，此類文件由在U 盤考試系統(tǒng)中獨立加載，以只讀方式高效便捷地進行各種考試相關數(shù)據(jù)的查詢，以及歸類統(tǒng)計。

2 移動在線考試服務系統(tǒng)的搭建及其在不同課堂規(guī)模下的應用

隨著智能手機終端的普及及無線互聯(lián)網(wǎng)網(wǎng)速的飛速提升，由智能手機終端聯(lián)合無線互聯(lián)網(wǎng)衍生出的一系列“互聯(lián)網(wǎng)+智能手機”解決方案，已經(jīng)滲入到日常生活工作及學習的各個場景。充分利用了智能手機性能的提升結合校園無線互聯(lián)網(wǎng)的發(fā)展和升級，我們將先期研發(fā)的“便攜式自啟動在線考試系統(tǒng)”進一步升級為不需要任何服務器和計算機房及終端的移動平臺，除了在個別區(qū)域的無線路由器需求以外，建成了“零成本”的“智能移動在線考試系統(tǒng)”（圖1）。

圖1 在線考試系統(tǒng)構建與信息處理策略

關于考試軟件和服務器的架設，包括全網(wǎng)服務和課堂服務兩種規(guī)模配置。前者可以使用基于Linux 系統(tǒng)下B/S 構架的TCExam 接入方法[6]；而后者的移動解決方案中，我們嘗試了將全功能的考試服務器集成在普通的智能手機中。系統(tǒng)的搭建選擇了Palapa Web Server (PWS)軟件的使用，將其安裝到獲得“Root 訪問”權限的Android 操作系統(tǒng)手機。PWS 集成了PHP和MySQL包，支持數(shù)據(jù)庫的Access和管理操作，整合Lighttpd 網(wǎng)站服務器后可以使普通的手機移動設備轉變成為一個移動的網(wǎng)站和數(shù)據(jù)服務器。即使在校園網(wǎng)無線網(wǎng)絡不能覆蓋的環(huán)境中，該系統(tǒng)可通過一個預設節(jié)點的無線網(wǎng)絡路由器隨時建立動態(tài)的考試服務網(wǎng)站。

經(jīng)過改進的考試系統(tǒng)在應用中表現(xiàn)出明顯優(yōu)勢：①依托校園網(wǎng)絡的考試服務可以使考試的組織不必僅僅局限在特定局域網(wǎng)中的考場電子教室；②隨著智能手機網(wǎng)頁瀏覽器作為用戶輸入接口的實現(xiàn)，可以使考試場景徹底擺脫對個人電腦等設備需求；③智能手機作為網(wǎng)絡服務器節(jié)點及考試軟件的成功安裝，配合無線路由器的使用，使所提供的考試服務徹底實現(xiàn)了移動化，并且可以完全實現(xiàn)不同規(guī)模下的應用?？荚囅到y(tǒng)操作的靈活性和應用規(guī)模的可延展性，對包括課堂練習或隨堂測驗等考試場景、以及人員簽到等應用的支持非常豐富，廣受師生歡迎。此外，本次改進升級不僅為電子化無紙考試的進一步推廣掃除了成本門檻，而且隨著其在不同課堂規(guī)模下的應用，使教師在考試組織、題目質量和電子閱卷等方面得到了培訓及從事相關研究的支持平臺。

3 主觀題目智能輔助自動閱卷方案的建立和嘗試

隨著計算機技術的發(fā)展，人工智能研究和應用開始進入到自然語言處理（Natural Language Processing，NLP）領域，成為語言學研究中的熱點之一。完成對語義的理解，這在本質上屬于一種在認知層面上的“降維”過程。NLP 對長文本字符相似度的判別，一般可根據(jù)語句的長短，復雜程度運用不同的處理方法，分為字面編輯距離計算和語義相似性計算。字面編輯距離僅考慮不同文本之間的字面距離，如文本A 至文本B 的插入、刪除、替換次數(shù)，次數(shù)越多，距離越遠；語義相似性判定則需要做到從語義的層次進行度量，忽略其字面編輯距離的差別。

專業(yè)課程的主觀題目的答題文本具有關鍵詞詞庫規(guī)范性好、數(shù)量有限、且集中出現(xiàn)頻度高等多種特點，相對于日常的自然語言處理在算法上較為容易。在醫(yī)學專業(yè)課程的教學過程中，統(tǒng)編規(guī)劃教材的使用強調(diào)術語的規(guī)范化”，為降低文字評判系統(tǒng)時語義相似性差異帶來的評判誤差奠定了很好的基礎。具體針對不同的主觀考試題型，我們分別建立了相應的評分策略。填空題可轉化為多選標準化考試題的一種變體形式，即窮舉全部可能的正確回答，編列為參考答案選項，互為“或”的關系。名詞解釋及簡答題的評分首先需要對答案進行“降維”處理，考慮關鍵詞以及關鍵詞出現(xiàn)的順序，本質上是將名詞解釋轉化為系列的“填空題”；將簡答題分段為邏輯序串的詞匯解釋。對目標文本中關鍵詞的出現(xiàn)及其順序、頻次或、同義詞轉化等預處理，可以有效避免學生回答問題時文本長度差異和無效無義文字造成的判讀干擾。經(jīng)預處理的目標文本語句與標準答案語句的字面編輯距離基本可以用作評分的主要參考。

字面編輯距離的計算方法很多，如Levenshtein 距 離（Levenshtein Distance，LD）[7]和Jaro-Winkler 距 離（Jaro-Winkler Distance，JWD）[8]。Levenshtein 距離是根據(jù)字符串A 變化到字符串B 所需要替換、插入及刪除的次數(shù)，對比字符串的長度，計算得出兩個字符串之間的距離，廣泛應用在DNA 序列的比對以及文本的拼寫檢查等工作中，以及通過比對學生答案間的相似度發(fā)現(xiàn)作弊行為。LD 算法在短字符串間的嚴苛比對中對差異的體現(xiàn)較好，而對需要考慮詞序并兼顧文義的較長句段我們選用Jaro-Winkler 距離（Jaro-Winkler Distance，JWD）作為參數(shù)，其算法對起始部分相同的字符串給予更高的分值權重。JWD 值的分布密度較高，更適用于對整句或段落的得分評判。LD 算法與JWD 算法可以聯(lián)合使用，再按照不同的權重給出綜合評分（表1）。

表1 生物學考試題型參考答案設置及得分判定

根據(jù)不同題型的評分策略在Excel 的VBA腳本中實現(xiàn)并經(jīng)優(yōu)化和測試后，改由php 程序語言編寫成為可接入TCExam 考試系統(tǒng)的獨立運行腳本，其中的批處理SQL 操作指令可以使考試系統(tǒng)管理員通過web 后臺方式對TCExam數(shù)據(jù)庫的人工評判得分字段內(nèi)容進行修改。由算法得到的智能評分可以在TCExam 的高等級用戶登錄中通過教師評分界面進行顯示，供人工閱卷作為參考；教師可就發(fā)現(xiàn)的問題進行修改和備注，為后續(xù)進一步的算法優(yōu)化提供思路和依據(jù)。

4 關于后續(xù)升級和改進的思路

本系統(tǒng)將隨著應用的拓展和數(shù)據(jù)的累積得到不斷改進，最終目標不僅是作為單一的考試服務，而是最大可能地發(fā)揮其學習平臺的功能，幫助學生在專業(yè)認知水平的快速提升。對專業(yè)課程考試的主觀題自動評判系統(tǒng)建立在比較目標文本與參考文本之間的相似度來進行評判，編制高質量的參考文本關鍵詞詞表是技術性較強的關鍵環(huán)節(jié)，否則會在不同程度上減低了主觀試題智能評分的合理性與準確度。一方面我們建議關鍵詞應由教材和教學大綱中出現(xiàn)的專業(yè)名詞組成并符合“全國科學技術名詞審定委員會”建立的“術語在線”（http://www.termonline.cn/index.htm）醫(yī)學類詞庫、專業(yè)詞匯對應的標準英文寫法；另一方面，我們還擬將積累大量學生用戶的作答答案作為輸入數(shù)據(jù)集，建立基于受限玻爾茲曼機（restricted Boltzmann machine，RBM）的隨機生成神經(jīng)網(wǎng)絡[9]，對數(shù)據(jù)集中使用的詞匯出現(xiàn)頻率進行排序，進行全監(jiān)督機器學習，根據(jù)學習結果豐富標準答案庫，做到對主觀題目更加客觀可靠高效的評判。

5 總 結

經(jīng)過對“便攜式自啟動在線考試系統(tǒng)”的成熟應用和總結，本“主觀試題移動在線考試服務及人工智能評閱系統(tǒng)”對前作進行了延續(xù)、改進和升級。系統(tǒng)在不同場景的良好的應用，使任課教師對各種無紙化考試系統(tǒng)的操作得到了充分的訓練，同時，學生對電子考試平臺也獲得了充分的適應機會。基于這些工作基礎及獲得的師生正面反饋，加速了整個學校范圍內(nèi)建立無紙化考試系統(tǒng)計劃的實施，在線考試系統(tǒng)將作為我校專業(yè)基礎課及專業(yè)課總結性測驗的主要方式之一進行全面的推廣。

盡管存在技術上的可能性，我們沒有對自由作答的問答題型嘗試自由評閱的可能，不僅是由于在實現(xiàn)中的難度較大，而主要是出于對教育教學理念的考慮。我們認為智能閱卷的目的并不是以單純的減輕教師負擔和考試成本為目的，而是為了能夠使教師能夠將更多的精力由于改進教學活動和教學方法，包括提高題目質量和關注學生的學習過程，而開放性的問答題實質上是一種頗為有效的師生互動形式，需要加以很好的設計和利用。我們并不希望這一傳統(tǒng)且由多年教學實踐所證明有效的考試形式受到現(xiàn)代技術的影響而失去原有的效力。

我們的升級版移動考試系統(tǒng)恰好能與學校的在線考試系統(tǒng)作良好的補充和相互支持。第一，我們已經(jīng)有完備的包含各種題型的專業(yè)課試題庫，整個系統(tǒng)的進一步升級改造就可不依賴于全校各個專業(yè)題庫的整體建立或升級；第二，通過將網(wǎng)絡服務器移至智能手機終端而大范圍的提升其移動性，使得其可以廣泛靈活的應用于隨堂測驗等形成性評價中；第三，我們建立了完整和相對可靠的主觀題評判系統(tǒng)，通過接下來與人工智能機器學習銜接，可進一步提升了教師的工作效率及評判的準確性。今后，我們還將繼續(xù)通過大量的使用實踐數(shù)據(jù)，進一步完善語義詞庫及優(yōu)化評閱規(guī)則，最終建立全題型全場景覆蓋的在線考試系統(tǒng)。

致謝

本研究在丁衛(wèi)教授的設計指導下完成，并提供了主要實現(xiàn)方案和程序代碼，特此感謝。