山東 楊澤忠 朱 銘
網(wǎng)上閱卷又稱為無紙化閱卷,是20世紀90年代末在我國開始的一項以計算機網(wǎng)絡(luò)技術(shù)、圖像處理技術(shù)和數(shù)據(jù)庫技術(shù)為基礎(chǔ)的新型閱卷方式。這種閱卷方式剛一出現(xiàn),即受到人們的廣泛關(guān)注。人們普遍認為,這種新的閱卷方式不僅可以節(jié)省以往人工閱卷的繁忙和勞累,提高閱卷效率,而且可以提高閱卷的準確性和合理性,促進閱卷的公平性,因此它代表著未來閱卷工作的方向。為了促進網(wǎng)上閱卷這種新方式科學(xué)有序地進行,近20年來,不僅有國家教育部專門出臺的相關(guān)管理辦法,而且出現(xiàn)了一系列的相關(guān)學(xué)術(shù)研究。這些學(xué)術(shù)研究無疑極大地促進了網(wǎng)上閱卷的廣泛開展和深入進行,進一步提高了人們對于網(wǎng)上閱卷的信心和認同。為了從以往的研究中吸取經(jīng)驗和教訓(xùn),更好地促進網(wǎng)上閱卷工作的開展,本文擬對近10年的相關(guān)研究進行回顧和梳理,對其中的結(jié)果和方法作出歸納和概括。
作為一種結(jié)合現(xiàn)代信息技術(shù)而出現(xiàn)的新的閱卷方式,人們普遍認為網(wǎng)上閱卷比傳統(tǒng)閱卷方式有多方面的優(yōu)勢。趙洋和朱京江指出,網(wǎng)上閱卷對客觀題可實現(xiàn)自動評分,對主觀題可直接呈現(xiàn)在計算機屏幕上,閱卷老師只需通過鍵盤或鼠標就可進行閱卷評分,方便快捷。這期間由于系統(tǒng)調(diào)度和網(wǎng)絡(luò)傳輸,從而減少了工作環(huán)節(jié),降低了工作難度,對評卷老師工作積極性有很大的提升,可大幅提高工作效率。
范鵬提出,網(wǎng)上閱卷所采用的答題卡的印制成本有所提高;閱卷場所對終端機器的配置有一定要求;高速掃描閱讀機價格較高,評卷中使用的服務(wù)器、存儲、交換設(shè)備也是一筆不小的投入。阮少林也提出,一些網(wǎng)上閱卷系統(tǒng)由于受投資、成本、功能及技術(shù)的限制,因此無法直接進入學(xué)校等小規(guī)??荚囶I(lǐng)域應(yīng)用。
阮少林提出,目前OMR系統(tǒng)只能對填涂區(qū)域進行識別,還無法對√、×等手寫符號進行識別。韓存新、蔡偉和羅理等提出,網(wǎng)上閱卷采用高速掃描儀將試卷電子化,存在少量漏掃現(xiàn)象及圖像不清晰現(xiàn)象。趙洋提出,高考網(wǎng)上閱卷存在識別技術(shù)形式單一的問題,答題紙印刷和裁切精度要求高,識別技術(shù)需要固定樣式的答題紙,而且圖像保存格式所占存儲空間太大。
蔡偉等提出,有些省市的軟件設(shè)備不夠穩(wěn)定,造成部分重要的誤差控制功能喪失,與之相匹配的一整套考務(wù)管理辦法也尚未形成,而且閱卷過程中的動態(tài)統(tǒng)計功能也不夠完善。韓存新和何慶霞等提出,并發(fā)訪問問題有可能造成試卷分發(fā)的“瓶頸”,有些終端空閑,而有些終端任務(wù)繁重,這樣導(dǎo)致閱卷系統(tǒng)整體效率低下。
高丙成和賈志先等提出,閱卷員之間以及閱卷員自身存在一致性問題,即閱卷員在閱卷速度、閱卷平均分、閱卷標準差及出分率等方面均存在差異,這將導(dǎo)致評分員自身信度和評分員之間信度的降低。此外,齊冬還提出,閱卷教師隨機搭配中的“寬寬嚴嚴”問題仍沒有有效的解決方案。
高丙成等提出,由于評分標準與參考答案設(shè)置不科學(xué)所引起的誤差閾值,還需要每次結(jié)合具體科目論證,缺乏統(tǒng)一的標準。何慶霞等也提出,目前的實現(xiàn)機制是,通過試卷難易程度和教師評卷質(zhì)量來組織有關(guān)專家事先評測,設(shè)置一個仲裁閾值,并根據(jù)這個閾值對教師所判試卷進行仲裁,但是不能夠根據(jù)當時的閱卷情況做到隨時調(diào)整仲裁閾值。
王文成、蔡偉等提出,網(wǎng)上閱卷技術(shù)造成嚴重的“人—機對抗”(閱卷員在各項指標的控制范圍內(nèi)隨意給分)現(xiàn)象。過分追求閱卷員之間評分的一致性,客觀上容易導(dǎo)致評分背離考生的真實能力,進而產(chǎn)生符合評分一致性檢驗的“合法性”評分誤差。韓存新、鄧秀恭等提出,由于工作量大,加上閱卷教師的報酬都是計件的,每位教師都在趕進度,同時又必須是有效度的評價,這樣導(dǎo)致一些教師打分都是打保守分。這對于競爭性選拔考試非常危險。
山成虎和鄧細芳認為,頻率過高的評判性考試和網(wǎng)上閱卷只會讓學(xué)生特別是后進生學(xué)習積極性備受打擊,最后麻木不仁,放棄學(xué)習。這顯然不符合新課程強調(diào)的“過程與方法”的體驗式教學(xué)精神。此外,周偉萍提出,網(wǎng)上閱卷系統(tǒng)提供的分析對優(yōu)等生幫助不大。許多試題的典型解法就是這些優(yōu)等生的答卷,可能會造成優(yōu)等生的自滿情緒,影響學(xué)習效果。
韓存新和樊斌認為,網(wǎng)上閱卷雖然提高了效率,縮短了評卷時間,但評卷教師長時間地面對電腦屏幕,視力受到極大的影響。趙海燕等提出,當前網(wǎng)上閱卷雙評過程中一般采用平均法計算考生成績,其不足在于易導(dǎo)致趨中效應(yīng)的加劇,從而不利于高能力考生的區(qū)分。何慶霞等認為,網(wǎng)上閱卷可能會存在不安全因素,病毒入侵和惡意攻擊都是不可預(yù)料的。高丙成和陳曉蘇等提出,網(wǎng)上閱卷數(shù)據(jù)的加密傳輸技術(shù)和閱卷遠程登錄人的身份確認技術(shù),都需要組織針對性地開發(fā)。
范鵬和馬世曄認為,控制評卷誤差的關(guān)鍵是要加強主觀題網(wǎng)上閱卷人員的隊伍建設(shè),抓好遴選、培訓(xùn)、管理、評價4個環(huán)節(jié),做好有關(guān)考務(wù)人員的培訓(xùn)工作,使他們盡快地熟悉有關(guān)網(wǎng)上閱卷的相關(guān)要求。劉建華和馬睿等也認為,扎實、有效的崗前培訓(xùn)是確保閱卷工作平穩(wěn)順利進行的根本保證,因此要切實做好4項培訓(xùn)工作:(1)上崗培訓(xùn),主要包括思想政治教育、保密條例等;(2)試評培訓(xùn),主要包括評分細則的討論、制定、閱卷系統(tǒng)的操作、試評卷和測試卷的評閱等;(3)質(zhì)量控制培訓(xùn),主要包括試卷復(fù)評、抽查、退回、修改、問題卷處理等;(4)心理壓力和情緒調(diào)節(jié)培訓(xùn),主要包括放松訓(xùn)練、腹式呼吸訓(xùn)練等。
劉建華和馬睿等在閱卷員管理方面提出可以從以下3個方面開展工作:(1)完善閱卷組織機構(gòu);(2)強化激勵機制;(3)引入心理干預(yù)。這就要求相關(guān)的閱卷機構(gòu)在優(yōu)化進度管理和組織心理輔導(dǎo)的同時,合理安排工作時間。陳藝也提出,通過及時發(fā)現(xiàn)并調(diào)整閱卷人員的工作和休息狀態(tài),可以提升閱卷過程的質(zhì)量和效率,進而保證閱卷過程的公平、公正性。
王文成認為,要加強閱卷員對評分標準的掌握情況,可以通過把專家組所評樣卷讓閱卷員進行評閱,計算每一個閱卷員與專家組的差值,判定是否在誤差允許范圍之內(nèi),或者計算專家組和閱卷員在樣卷得分的相關(guān)系數(shù),進而評定閱卷員和專家組在樣卷評分上的一致性。此外,他還提出,對閱卷員“寬寬嚴嚴”問題的技術(shù)控制,可通過兩種方法:(1)比較不同時段,本人閱卷標準差、平均分、有效度和閱卷速度;比較復(fù)評的標準差、平均分、有效度和閱卷速度,評價評卷員掌握評分標準的嚴寬程度,是否隨意性大;(2)計算集中程度。其評價指標是每道題目上每個閱卷員給分的算術(shù)平均數(shù)。以每道題考生最終成績的總平均數(shù)為參照點,閱卷員給分的平均數(shù)越接近考生最終成績的總平均數(shù),說明評分誤差越小。
羅友花和劉鐵明提出,網(wǎng)上閱卷是一項復(fù)雜的系統(tǒng)工程,成功實施的關(guān)鍵是要解決好4個方面的問題,即設(shè)置配備和網(wǎng)絡(luò)建設(shè)、答題卡掃描和數(shù)據(jù)電子化、實時誤差監(jiān)控以及考務(wù)組織管理。喻國軍為了將客觀題自動評判產(chǎn)生的錯誤降低到最少,提出在網(wǎng)上閱卷系統(tǒng)中增加客觀題的查錯與校正模塊,作為客觀題自動評卷的輔助子系統(tǒng),并使用視圖和存儲過程將可能的問題卷提取出來,用人工的方式進行校正。賈志先利用譜聚類算法,對所有評分員的評分測量對象進行聚類后,可以將評分員的評分結(jié)果進行分類,從而為分析評分員的評分質(zhì)量提供了一種可行的方法和手段,同時又結(jié)合評分員的評分結(jié)果度量維度參數(shù),可以進一步有效地檢測出主觀題評分中存在的一些問題。
范鵬提出,要保證整個閱卷系統(tǒng)的正常運行,就必須根據(jù)新情況、新特點,相應(yīng)改革原有的招生考試考務(wù)管理模式,從組織上、管理上確保網(wǎng)上閱卷系統(tǒng)的順暢運行,并根據(jù)網(wǎng)上閱卷的特點,建立一套新的管理辦法。陳冠儒指出,要吸收高考網(wǎng)上閱卷系統(tǒng)和光標閱讀機的優(yōu)點,克服其缺點,設(shè)計開發(fā)集考務(wù)管理、試卷制作、客觀題識別、主觀題評閱、成績管理為一體的網(wǎng)上閱卷系統(tǒng)。
蔡偉等提出以“評分”控制“評分”的5種網(wǎng)上閱卷評分誤差控制方法:閱卷員之間一致性誤差控制、閱卷員本人一致性誤差控制、兩評的誤差控制、評分點之間的誤差控制以及抽查和監(jiān)控閱卷誤差。抽查和監(jiān)控閱卷誤差是指指定抽查、簡單隨機抽查、分時段抽查、等距抽查。此外,他還提出4種網(wǎng)上閱卷評分誤差機控系統(tǒng)的措施:作文試卷配發(fā)隨機、閱卷終端獨立、數(shù)據(jù)統(tǒng)計迅速準確、網(wǎng)絡(luò)對話高效便捷。高丙成等歸納出及時反饋、嚴格要求、做好培訓(xùn)、減少誤差閾值等減少評分者差異的有效策略。王文成也提出,主觀題評分誤差控制策略有:(1)加強閱卷員對評分標準掌握情況;(2)控制閱卷員的“寬寬嚴嚴”問題;(3)計算離散程度;(4)提高評分的有效度。
羅友花和劉鐵明指出,網(wǎng)上閱卷的實時誤差控制機制可以從5個方面進行“把關(guān)”:(1)計算機自動對考生答題卡上的客觀題部分進行OCR/OMR識別,并對此標準答案給分;(2)采用“一卷四評”模式;(3)利用計算機統(tǒng)計技術(shù)實時進行評卷員之間和評卷員本人的一致性誤差控制,兩評和評分點之間的誤差控制;(4)檢查組抽查監(jiān)控;(5)得分異常情況的處理。
趙海燕等提出改革傳統(tǒng)評分方式,以提高評分的有效性。在雙評有效的前提下,任意值法可以更有效地控制趨中效應(yīng),取高法和取低法有利于必要時對分數(shù)波動的把控,取高法對趨中效應(yīng)的控制要好于平均法,且利于高分考生的選拔。
王文成則通過監(jiān)測閱卷員評分來提高評分的有效性。有效度越高的閱卷員,個人尺度越接近標準尺度。閱卷員評分的有效度有以下幾種情況:(1)雙評差值未超出差值閾限,則兩位評分員的評分都記為有效;(2)三評給出的分數(shù)和與之相近的雙評中的一位閱卷員的評分,如果沒有超出差值閾限,則此兩位閱卷員共同決定了該試題的最終得分,該兩位閱卷員的評分都記為有效;(3)如果與三評分數(shù)相差較大的另一個評卷員給出的分數(shù),小于本題目允許的最大誤差的1/2,則該評分也被記為有效。
阮少林以數(shù)字圖像處理技術(shù)為支撐的圖像識別軟件替代機器來完成網(wǎng)上閱卷過程中的自動閱卷任務(wù),不僅可以大大降低閱卷成本,同時系統(tǒng)的高度靈活性可以使得這種閱卷方式深入到更細微的領(lǐng)域。
肖立峰將圖像預(yù)處理系統(tǒng)處理步驟設(shè)計為:灰度圖像二值化、圖像的偏斜糾正。該系統(tǒng)借鑒了很多圖像處理方法的優(yōu)點,使整個掃描過程清晰,易于實現(xiàn)。羅理等采用先對圖像進行粗化的方法,解決圖像連續(xù)性問題;接著對圖像進行細化,解決圖像單像素問題。肖立峰也提出以改進的變換方式來進行答卷圖像的傾斜矯正,采用動態(tài)閾值三值化圖像、采用鄰域迭代等方式使答卷圖像增強,滿足了實際工作與圖像處理的需要。
綜上所述,可以看出,當前關(guān)于網(wǎng)上閱卷的研究主要集中在網(wǎng)絡(luò)閱卷的優(yōu)勢、網(wǎng)絡(luò)閱卷的不足和相應(yīng)的對策3個方面。對于網(wǎng)上閱卷的優(yōu)越性而言,前人的研究給予了充分肯定,不僅指出了網(wǎng)上閱卷具有迅捷性、便捷性和靈活性,也指出了網(wǎng)上閱卷具有比較好的公平性,從而能促進考試的進行和選拔;對于網(wǎng)上閱卷的不足而言,前人的研究比較廣泛,不僅關(guān)注網(wǎng)上閱卷的成本問題、技術(shù)問題、管理問題和具體操作問題,也關(guān)注網(wǎng)上閱卷具體的評分問題、痕跡問題和雷同卷問題等;對于如何提高網(wǎng)上閱卷的質(zhì)量問題,當前的研究不僅指出了應(yīng)當加強閱卷人員的選拔、培訓(xùn)和管理等,也指出了應(yīng)當進一步完善網(wǎng)上管理系統(tǒng),加強圖像識別的程度,提高閱卷的有效性等措施,這些措施無一不是合理的。
但是,從上述分析也可以看出,有些研究還不夠深入,比較突出的問題有兩個:一是如何利用網(wǎng)上閱卷的優(yōu)越性,特別是其數(shù)據(jù)分析的快捷性和方便性,更加深入地分析學(xué)生在學(xué)習中的特點,尤其是其中的不足和缺陷,從而更加有效地指導(dǎo)日常教學(xué)。當前這個問題雖然已被一些研究者意識到和提及,但當前鮮有人從這個角度進行較為深入的探討和研究,從而導(dǎo)致當前的情況基本上還是網(wǎng)上閱卷得到的數(shù)據(jù)和日常教學(xué)相互分離的狀態(tài)。根據(jù)我們的了解,在當前已使用網(wǎng)上閱卷的中小學(xué)中,教師和學(xué)生比較多的是從網(wǎng)上閱卷中看總成績和成績排名,很少有人在網(wǎng)上閱卷之后進一步分析得到的數(shù)據(jù),從中發(fā)現(xiàn)教學(xué)的問題,從而改善或完善教學(xué)。網(wǎng)上閱卷系統(tǒng)的使用每年也只有有數(shù)的幾次。進一步訪談其中的原因,多數(shù)教師反映他們不知道如何操作,不知道如何利用網(wǎng)上閱卷得到的數(shù)據(jù)進行分析,不知道如何分析才是正確的,不知道如何分析才能得到真正有助于教學(xué)的信息。這種情況雖然一方面反映出不少教師數(shù)據(jù)分析技能的薄弱,但更多的應(yīng)該是反映出當前廣大研究者對網(wǎng)上閱卷數(shù)據(jù)與實際教學(xué)互動關(guān)系的研究缺乏深刻性和可操作性。
二是如何組織和安排才能使得網(wǎng)上閱卷更加合理,使得閱卷員最后給出的成績更加準確。當前很多研究者都非常關(guān)注網(wǎng)上閱卷的質(zhì)量,為此提出了一系列措施。但仔細看這些措施,多數(shù)是針對網(wǎng)上閱卷的合理性和有效性來講的,很少直接針對最后成績的正確性和準確性的。即使是有個別針對最后成績準確性的措施,也多是比較模糊的和不具體的,無法使網(wǎng)上閱卷組織者和評閱人員實際掌握和操作。我們在中小學(xué)調(diào)查中發(fā)現(xiàn),幾乎每次網(wǎng)上閱卷之后,都有不少學(xué)生向老師報告他們的成績與最后評閱有出入,告訴老師他們的成績評定不準確?,F(xiàn)在中小學(xué)老師遇到這樣的情況也似乎習以為常,因此,每次網(wǎng)上閱卷之后,老師都會告訴學(xué)生:請仔細核對答案,如有發(fā)現(xiàn)成績不準確的,可立即告知老師,以便修改。這樣,網(wǎng)上閱卷在實際中小學(xué)教學(xué)中不僅沒有節(jié)省老師們的時間,反倒又增加了一道工序。
由此,未來的研究有必要加強網(wǎng)上閱卷準確性的研究以及網(wǎng)上閱卷之后數(shù)據(jù)的分析和應(yīng)用研究,只有這樣,才能使得投入大量財力和物力開發(fā)和組建的網(wǎng)上閱卷系統(tǒng)具有更加實際和更大的價值。