楊小軍 馮 斌 柏志堯 董 方

（1.國(guó)防大學(xué)聯(lián)合勤務(wù)學(xué)院后勤與裝備信息資源教研室 北京 100858）（2.國(guó)防大學(xué)聯(lián)合勤務(wù)學(xué)院教學(xué)考評(píng)中心 北京 100858）

1 引言

答辯是一種常用的考核方法，通常將答辯成績(jī)和筆試成績(jī)兩者結(jié)合，將兩部分成績(jī)各賦以一定的權(quán)重，用計(jì)算得出的綜合成績(jī)來(lái)作為考核人員的最終成績(jī)。由于答辯需要被考核人員按順序依次進(jìn)行，如果只安排一組進(jìn)行答辯，會(huì)導(dǎo)致時(shí)間成本較高。因此，在實(shí)際組織答辯時(shí)，都是抽簽將學(xué)員分成幾組，幾組同時(shí)進(jìn)行答辯。作為主導(dǎo)答辯的老師，都會(huì)力求客觀公正地評(píng)價(jià)每名學(xué)員的成績(jī)。各組的老師在學(xué)員答辯時(shí)，都是嚴(yán)格按照相同的標(biāo)準(zhǔn)評(píng)判學(xué)員的成績(jī)，因此，同一組內(nèi)的學(xué)員成績(jī)可以做到公平公正。但由于每名老師的主觀評(píng)價(jià)標(biāo)準(zhǔn)不一樣，比如A 組的某老師將優(yōu)秀的標(biāo)準(zhǔn)定為95分，B組的某老師則將優(yōu)秀的標(biāo)準(zhǔn)定為85分。這樣一來(lái)一名優(yōu)秀的學(xué)員選擇到A 組或是B 組答辯時(shí)，最終得到的答辯成績(jī)是不一樣的。我們將這種由于各組評(píng)委老師主觀評(píng)價(jià)標(biāo)準(zhǔn)的差異而導(dǎo)致的學(xué)員成績(jī)差異，稱之為組間差。

組間差導(dǎo)致了學(xué)員考核時(shí)的不公平，對(duì)于這種現(xiàn)象，一種常用的解決方案就是各組間統(tǒng)一評(píng)分標(biāo)準(zhǔn)。同時(shí)采用抽簽的方式，哪個(gè)學(xué)員進(jìn)入哪個(gè)考場(chǎng)由自己抽簽決定，盡最大可能消除學(xué)員對(duì)評(píng)價(jià)不公正的抱怨。但統(tǒng)一評(píng)分標(biāo)準(zhǔn)的實(shí)施取決于評(píng)委老師的主觀意志，不好實(shí)現(xiàn)，抽簽方式也沒(méi)有從本質(zhì)上消除組間差，需要一種更好的消除組間差的方法。下面我們從算法層面討論如何徹底消除組間差。

2 組間差消除算法

學(xué)員的答辯成績(jī)是一組單指標(biāo)的數(shù)值型數(shù)據(jù)，對(duì)數(shù)值型數(shù)據(jù)進(jìn)行度量的指標(biāo)有兩個(gè)：一是分布的集中趨勢(shì)，反映各數(shù)據(jù)向數(shù)據(jù)總體中心值靠攏或聚集的程度。二是分布的離散趨勢(shì)，反映各數(shù)據(jù)遠(yuǎn)離數(shù)據(jù)總體中心值的程度。學(xué)員答辯成績(jī)存在組間差的原因是每組評(píng)委的主觀評(píng)價(jià)標(biāo)準(zhǔn)不一致，反映到數(shù)據(jù)層面就是各組成績(jī)的集中趨勢(shì)和離散程度不一致。對(duì)一組數(shù)值型數(shù)據(jù)來(lái)說(shuō)，其集中程度用平均數(shù)來(lái)度量，其離散趨勢(shì)用標(biāo)準(zhǔn)差或者方差來(lái)進(jìn)行度量［2］。消除組間差的方法就是將各組數(shù)據(jù)同時(shí)進(jìn)行標(biāo)準(zhǔn)化變換，具體方法是將各組數(shù)據(jù)同時(shí)減去平均分，并除以標(biāo)準(zhǔn)差。這種方法稱為Z-score 標(biāo)準(zhǔn)化方法，計(jì)算公式如下［1］：

其中，v為學(xué)員的原始分?jǐn)?shù)，μi為i 組學(xué)員成績(jī)的均值，σi為i 組學(xué)員成績(jī)的標(biāo)準(zhǔn)差，v′為標(biāo)準(zhǔn)化后的學(xué)員成績(jī)。公式中采用標(biāo)準(zhǔn)差去度量數(shù)據(jù)的離散程度，而不采用方差，就是為了計(jì)算時(shí)保持與平均值同一量綱。采用式（1）經(jīng)過(guò)標(biāo)準(zhǔn)化變換之后的各組分?jǐn)?shù)平均數(shù)都為0，標(biāo)準(zhǔn)差都為1。這樣一來(lái)，各組成績(jī)的集中程度和離散趨勢(shì)就一致了，達(dá)到了消除各組成績(jī)組間差的目的。

采用式（1）進(jìn)行標(biāo)準(zhǔn)化變換之后的成績(jī)雖然消除了各組成績(jī)之間的組間差，但是各組學(xué)員成績(jī)的平均值都是0，圍繞0 上下波動(dòng)。學(xué)員辛苦學(xué)習(xí)了一年，最后得到的成績(jī)是0 分甚至是負(fù)分，這是很不合理的。因此我們需要將第一次標(biāo)準(zhǔn)化后的成績(jī)?cè)僮儞Q一下，將成績(jī)?cè)俪艘钥傮w學(xué)員成績(jī)的標(biāo)準(zhǔn)差，加上總體學(xué)員成績(jī)的平均值，其變換公式如下：

式（2）中，v″為標(biāo)準(zhǔn)化變換后的學(xué)員最終成績(jī)，v′是學(xué)員第一次標(biāo)準(zhǔn)化變換后的成績(jī)，公式中的σ是總體學(xué)員成績(jī)的標(biāo)準(zhǔn)差，而不是各組的標(biāo)準(zhǔn)差，μ是總體學(xué)員成績(jī)的平均值，不是各組的平均值。經(jīng)過(guò)如此一變換，學(xué)員的成績(jī)就回到了合理的范圍之內(nèi)，且所有學(xué)員成績(jī)的標(biāo)準(zhǔn)差和均值都一致了。

3 算法驗(yàn)證實(shí)驗(yàn)

下面我們以學(xué)院2019 年度某班次學(xué)員畢業(yè)設(shè)計(jì)答辯為例來(lái)對(duì)算法進(jìn)行驗(yàn)證。該班次學(xué)員學(xué)制1 年，全班共有42 名學(xué)員，答辯分3 個(gè)組同時(shí)進(jìn)行，每一組14 名學(xué)員，學(xué)員的組別和答辯次序在答辯開(kāi)始前通過(guò)程序隨機(jī)生成，因此理論上各組之間優(yōu)秀學(xué)員的比率相差不大。每組安排7 名評(píng)委老師，學(xué)員的原始答辯成績(jī)?yōu)楦髟u(píng)委評(píng)分成績(jī)相加，先減去一個(gè)最高分，再減去一個(gè)最低分，然后除以評(píng)分人數(shù)減2。學(xué)員原始答辯成績(jī)由式（3）計(jì)算后得出，yi為某評(píng)委為答辯學(xué)員打分成績(jī)，Y為當(dāng)前答辯學(xué)員的得分集合。

表1 為學(xué)員分組情況和通過(guò)式（3）算出的原始答辯成績(jī)。為保護(hù)學(xué)員的隱私，我們將學(xué)員的真實(shí)姓名隱去，分別以學(xué)員1、學(xué)員2……代替。

表1 2019年度XX班次學(xué)員畢業(yè)設(shè)計(jì)原始答辯成績(jī)表

計(jì)算得出，1 組學(xué)員的平均成績(jī)?chǔ)?為88.34，標(biāo)準(zhǔn)差σ1為5.79。2組學(xué)員的平均成績(jī)?chǔ)?為90.2，標(biāo)準(zhǔn)差σ2為4.98。3 組學(xué)員的平均成績(jī)?chǔ)?為89.87，標(biāo)準(zhǔn)差σ3為5.63。全體42 名學(xué)員總的平均成績(jī)?yōu)?9.47，標(biāo)準(zhǔn)差為5.4。從學(xué)員的原始答辯成績(jī)我們基本可以看出，第1 組學(xué)員的平均成績(jī)最低，成績(jī)之間的標(biāo)準(zhǔn)差最大，代表學(xué)員水平之間的差異最大，學(xué)員平均成績(jī)低有兩個(gè)可能，第一是該組學(xué)員的水平確實(shí)很低，另外一種可能是該組答辯老師的評(píng)判標(biāo)準(zhǔn)過(guò)于嚴(yán)苛，下面通過(guò)對(duì)原始答辯成績(jī)進(jìn)行標(biāo)準(zhǔn)化變換來(lái)驗(yàn)證這兩種可能性。通過(guò)式（1）對(duì)學(xué)員的答辯成績(jī)進(jìn)行標(biāo)準(zhǔn)化變換后，得到的成績(jī)?nèi)绫?所示。通過(guò)式（2）對(duì)表2的成績(jī)?cè)僖淮芜M(jìn)行轉(zhuǎn)換，最后得到的學(xué)員標(biāo)準(zhǔn)成績(jī)?nèi)绫?所示。

表2 第一次轉(zhuǎn)換后的成績(jī)

表3 2019年度XX班次學(xué)員畢業(yè)設(shè)計(jì)標(biāo)準(zhǔn)成績(jī)表

為了說(shuō)明經(jīng)過(guò)標(biāo)準(zhǔn)化處理之后的成績(jī)比原始答辯成績(jī)更為合理，我們將這兩份成績(jī)分別與專業(yè)理論考試成績(jī)進(jìn)行比較，因?yàn)閷I(yè)理論考試成績(jī)是筆試成績(jī)，相比答辯成績(jī)更為客觀，專業(yè)理論考試成績(jī)?nèi)绫? 所示。我們分別計(jì)算原始答辯成績(jī)與專業(yè)理論考試成績(jī)的相關(guān)度，以及標(biāo)準(zhǔn)化后的答辯成績(jī)與專業(yè)理論考試成績(jī)的相關(guān)度，將兩個(gè)相關(guān)度進(jìn)行比較。以專業(yè)理論考試成績(jī)?yōu)闇?zhǔn)繩，誰(shuí)與其相關(guān)度更大，誰(shuí)就更合理。

表4 2019年度XX班次學(xué)員專業(yè)理論考試成績(jī)表

通過(guò)計(jì)算，得出標(biāo)準(zhǔn)化后的答辯成績(jī)與專業(yè)理論考試成績(jī)的相關(guān)度為0.9611，原始答辯成績(jī)與專業(yè)理論考試成績(jī)的相關(guān)度為0.9541，兩者都是高度相關(guān)且非常接近。但標(biāo)準(zhǔn)化后的答辯成績(jī)與專業(yè)理論考試成績(jī)的相關(guān)度更高，說(shuō)明經(jīng)過(guò)標(biāo)準(zhǔn)化后的答辯成績(jī)更為合理。至于兩者數(shù)值非常接近的原因有兩個(gè)，首先，樣本數(shù)據(jù)量不足，學(xué)員只有42 個(gè)，分成3 組。其次，為了盡量保持客觀公正，事先制定了統(tǒng)一的答辯評(píng)分標(biāo)準(zhǔn)并召集全體評(píng)委開(kāi)會(huì)，要求3 組評(píng)委按評(píng)分標(biāo)準(zhǔn)統(tǒng)一執(zhí)行，最大限度地保證了原始答辯成績(jī)的客觀公正。

將表1 中的原始答辯成績(jī)按成績(jī)由高到低排序，取前10 名，得到表5。將表3 中的經(jīng)過(guò)標(biāo)準(zhǔn)化處理后的成績(jī)由高到低排序，取前10名，得到表6。

表5 學(xué)員畢業(yè)設(shè)計(jì)原始答辯成績(jī)前10名情況

表6 學(xué)員畢業(yè)設(shè)計(jì)標(biāo)準(zhǔn)化答辯成績(jī)前10名情況

通過(guò)比較表5和表6，不難發(fā)現(xiàn)如下幾個(gè)規(guī)律：首先，兩個(gè)表中學(xué)員的重合率高達(dá)80%，也就是說(shuō)對(duì)兩種成績(jī)分別取前10 名，有8 名學(xué)員是重合的，這符合客觀規(guī)律，因?yàn)閮?yōu)秀的學(xué)員不管怎么排序，始終是優(yōu)秀的，如學(xué)員33 在兩種排名中都是處于第一名的位置；第二，雖然兩個(gè)表的學(xué)員重合率高達(dá)80%，但排名會(huì)發(fā)生變化。其中第1 組的學(xué)員排名變化最大，在原始的答辯成績(jī)排名中，第1 組學(xué)員只有2 人進(jìn)入前10 名，且排名相對(duì)靠后，分別為學(xué)員2，排名第7，學(xué)員4，排名第9。經(jīng)過(guò)標(biāo)準(zhǔn)化處理后，學(xué)員2 由第7 名上升到了第2 名，學(xué)員4 由第9名上升到了第4名，并且第1組的學(xué)員5原來(lái)在10名之外，成績(jī)經(jīng)過(guò)標(biāo)準(zhǔn)化處理之后，上升為第10名。這說(shuō)明與其它兩組評(píng)委相比，第1 組的評(píng)委老師評(píng)分標(biāo)準(zhǔn)過(guò)于嚴(yán)苛。另外經(jīng)過(guò)標(biāo)準(zhǔn)化處理后，第3 組的學(xué)員37 退出了前10 名，第38 名和第39 名的名次都后退了1 至2 個(gè)名次，說(shuō)明第3 組的評(píng)判相對(duì)較為寬松。第2組的4名學(xué)員在兩個(gè)表中都進(jìn)入了前10，說(shuō)明該組的評(píng)判最為公正，這4 名學(xué)員在表6中的排名較表5退后了1到2位，說(shuō)明該組的評(píng)判較第1 組寬松；第三，在表5 和表6 中，第2 組的4位學(xué)員的成績(jī)都出現(xiàn)了很大的重合，沒(méi)有拉開(kāi)名次之間的差別，這一點(diǎn)我們?cè)谟?jì)算答辯成績(jī)的標(biāo)準(zhǔn)差時(shí)就可看出，第二組答辯成績(jī)的標(biāo)準(zhǔn)差σ2為4.98，是3 組中最小的，這說(shuō)明該組成績(jī)的離散程度最小，評(píng)委老師沒(méi)有充分將成績(jī)距離拉開(kāi)。

4 結(jié)語(yǔ)

答辯是常用的一種考核方式，在院校和企事業(yè)單位都用得很多，當(dāng)參加面試的人數(shù)過(guò)多時(shí)，通常采用分組答辯的方式進(jìn)行。為了公平起見(jiàn)，答辯主辦方一般會(huì)采用抽簽，各組間統(tǒng)一評(píng)分標(biāo)準(zhǔn)等方法來(lái)盡量消除各組評(píng)分之間的差異。但由于如何執(zhí)行評(píng)分標(biāo)準(zhǔn)取決于評(píng)委的閱歷和知識(shí)背景等因素，主觀性較強(qiáng)，因此無(wú)法完全消除各組評(píng)分之間的組間差，所以必須引入算法才能消除各組評(píng)分的組間差，實(shí)現(xiàn)完全的公平公正。本文引入Z-Score 數(shù)據(jù)處理標(biāo)準(zhǔn)化方法并對(duì)其進(jìn)行了改進(jìn)，將各組原始答辯成績(jī)經(jīng)過(guò)兩次標(biāo)準(zhǔn)化變換后，最終去除了各組成績(jī)之間的組間差。該方法消除了分組答辯中由于各組評(píng)委主觀評(píng)分標(biāo)準(zhǔn)不一致而出現(xiàn)的答辯成績(jī)組間差，且操作簡(jiǎn)單，在學(xué)員的考核、面試、招生等活動(dòng)中具有現(xiàn)實(shí)意義。