隋雨時(shí)　王立明

摘要：本文針對如何提高研究生遴選質(zhì)量、選拔出更多優(yōu)秀生源的問題，提出一種基于決策樹算法的研究生遴選質(zhì)量評價(jià)方法。首先通過分析研究生生源學(xué)校以及初試和復(fù)試等招生信息，同時(shí)結(jié)合對研究生的課程學(xué)習(xí)成績、參與科研項(xiàng)目情況、碩士畢業(yè)論文質(zhì)量的跟蹤，建立了適合于計(jì)算機(jī)專業(yè)研究生質(zhì)量的評價(jià)指標(biāo)。然后采用經(jīng)典的ID3決策樹算法對相關(guān)數(shù)據(jù)進(jìn)行分析挖掘，以評價(jià)現(xiàn)有研究生招生體系中各項(xiàng)指標(biāo)對研究生培養(yǎng)質(zhì)量的影響，并通過統(tǒng)計(jì)學(xué)方法對結(jié)論進(jìn)行逆向分析驗(yàn)證。結(jié)果表明在研究生入學(xué)考核的各項(xiàng)指標(biāo)中，面試成績和上機(jī)考試成績在區(qū)分考生能力、優(yōu)秀研究生遴選中具有關(guān)鍵作用。

關(guān)鍵詞：研究生遴選;質(zhì)量評價(jià);決策樹;統(tǒng)計(jì)學(xué)

【Abstract】Aimingattheproblemhowtoimprovethequalityofgraduatestudentselectionincomputersciencemajorandselectexcellentstudents，amethodofgraduatestudentselectionqualityevaluationbasedondecisiontreealgorithmisproposed.Firstofall，byanalyzingthesourceschoolofgraduatestudentsandtheenrollmentinformation，suchastheprimaryandsecondaryexamination，combinedwiththetrackingofthegraduatestudents'academicperformance，participationinscientificresearchprojects，andthequalityofthemaster'sthesis，anevaluationindexsuitableforthequalityofgraduatestudentsmajoringincomputerscienceisestablished.Then，theclassicID3decisiontreealgorithmisusedtoanalyzeandminetherelevantdatatoevaluatetheimpactofvariousindicatorsintheexistinggraduatestudentenrollmentsystemonthequalityofgraduatestudenteducation，andtheconclusionisverifiedbyreverseanalysisthroughstatisticalmethods.Theresultsshowthattheinterviewscoresandcomputertestscoresplayakeyroleindistinguishingtheabilityofexamineesandselectingexcellentgraduatestudents.

【Keywords】graduateselection;qualityevaluation;decisiontree;statistics

作者簡介：隋雨時(shí)（2000-），女，本科生，主要研究方向：信息管理及信息系統(tǒng);王立明（1961-），男，學(xué)士，高級工程師，主要研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。

0引言

研究生教育是高等教育的重要組成部分。研究生的綜合素質(zhì)和培養(yǎng)質(zhì)量關(guān)系到專業(yè)型高技術(shù)人才的整體水平，是國家基本競爭力的一個(gè)重要體現(xiàn)。如何培養(yǎng)出更多高素質(zhì)、高水平的研究生已成為目前研究生教育的一個(gè)普遍關(guān)注問題。迄今為止，國內(nèi)外學(xué)者針對研究生的課程設(shè)置、培養(yǎng)方式及評價(jià)手段等方面已開展了大量的研究及探討，對提高研究生培養(yǎng)質(zhì)量起到了促進(jìn)作用[1-5]。

眾所周知，研究生入學(xué)的遴選質(zhì)量也密切影響著高質(zhì)量研究生的培養(yǎng)。因此，對研究生遴選質(zhì)量的評價(jià)研究具有重要意義。教育發(fā)達(dá)的西方國家如美國、英國、瑞典等國家都建立了各具特色的質(zhì)量保障體系[6]。例如，美國實(shí)施的是多元主體的研究生教育質(zhì)量保障體系。其中，部分學(xué)校在錄取研究生時(shí)會更加注重研究生的潛在能力，不完全按照考試分?jǐn)?shù)由高到低錄取，而是根據(jù)考生各項(xiàng)條件綜合選擇錄取，確保招生質(zhì)量。除了大學(xué)自身提供的質(zhì)量保障之外，還有一些依賴外部質(zhì)量保證制度的選拔指標(biāo)，如學(xué)生在大學(xué)內(nèi)的排名、標(biāo)準(zhǔn)化考試成績等（例如，作為第三方機(jī)構(gòu)主導(dǎo)的研究生入學(xué)考試GRE），來提高研究生選拔的準(zhǔn)確性。

目前國內(nèi)針對研究生招生質(zhì)量評估的研究，大多集中于生源質(zhì)量、招生制度建設(shè)，或者生源結(jié)構(gòu)的改善等方面[7]。前述研究中，或者強(qiáng)調(diào)研究生招生制度建設(shè)和研究生生源質(zhì)量意識對招生質(zhì)量的作用，或者認(rèn)為提高招生質(zhì)量的關(guān)鍵在于生源結(jié)構(gòu)的改善，而沒有給出合適的研究生招生質(zhì)量的評價(jià)體系。

文獻(xiàn)[8]建立了含有8個(gè)評價(jià)指標(biāo)的研究生招生評估指標(biāo)體系，對目前高校研究生招生質(zhì)量評價(jià)有著十分重要的參考意義。也有學(xué)者指出，完整的研究生質(zhì)量評估制度應(yīng)包括研究生來源質(zhì)量和選拔質(zhì)量，并將研究生招生質(zhì)量評價(jià)指標(biāo)體系設(shè)置為以下三級指標(biāo)[9]：一級指標(biāo)由生源質(zhì)量和選拔質(zhì)量構(gòu)成;二級指標(biāo)為評價(jià)的基本要素，包括招錄比、上線比、錄取率等;三級指標(biāo)是具體的觀測點(diǎn)，即對各種評價(jià)要素的進(jìn)一步細(xì)化。文獻(xiàn)[10]則提出研究生招生質(zhì)量的評價(jià)指標(biāo)體系主要包括整體指標(biāo)和個(gè)體指標(biāo)兩個(gè)部分。整體指標(biāo)特指反映高校研究生生源基本情況的自然信息，具體包括招生規(guī)模、報(bào)考人數(shù)、錄取情況、錄取成績均值、生源來源、生源學(xué)歷結(jié)構(gòu)等。個(gè)體指標(biāo)特指具體單個(gè)考生的實(shí)際情況，由考生的知識結(jié)構(gòu)、思想道德素質(zhì)、創(chuàng)新素質(zhì)與能力、心理素質(zhì)、本科期間學(xué)習(xí)成績等指標(biāo)組成，認(rèn)為考生的綜合素質(zhì)主要直接地反映在個(gè)體指標(biāo)上，并針對個(gè)體指標(biāo)采用基于灰色聚類評價(jià)模型的方法對研究生招生質(zhì)量進(jìn)行了研究。

上述研究工作主要針對研究生入學(xué)階段的各項(xiàng)數(shù)據(jù)提出相應(yīng)的評價(jià)體系或評價(jià)指標(biāo)，沒有跟蹤研究生在校期間的表現(xiàn)和畢業(yè)后的工作情況，事實(shí)上從入學(xué)前的復(fù)試環(huán)節(jié)，到入學(xué)后的學(xué)位論文、課業(yè)成績以及研究生發(fā)表的高質(zhì)量期刊文章、專利、獲得獎學(xué)金情況等都是衡量研究生質(zhì)量的重要因素[11-13]。為此，本文通過跟蹤研究生入學(xué)后的培養(yǎng)質(zhì)量以及畢業(yè)工作后的回訪調(diào)查，提出基于專業(yè)基礎(chǔ)和綜合素質(zhì)的研究生質(zhì)量評價(jià)指標(biāo)，并采用機(jī)器學(xué)習(xí)及統(tǒng)計(jì)分析方法反向分析各項(xiàng)入學(xué)考核指標(biāo)，得出各項(xiàng)指標(biāo)對高質(zhì)量研究生培養(yǎng)的貢獻(xiàn)權(quán)重，找出具有關(guān)鍵性作用的入學(xué)考核指標(biāo)，為今后選拔優(yōu)秀生源提供指導(dǎo)性意見和建議。

1本文評價(jià)指標(biāo)的建立

通過對畢業(yè)生就職企業(yè)的跟蹤回訪，用人單位在招聘時(shí)重點(diǎn)考慮的要素是應(yīng)聘者的項(xiàng)目經(jīng)歷、溝通能力、實(shí)踐經(jīng)歷、學(xué)習(xí)成績以及組織協(xié)調(diào)能力，認(rèn)為畢業(yè)生在研究生期間應(yīng)當(dāng)掌握專業(yè)基礎(chǔ)知識、高級知識、方法論知識、實(shí)際知識以及外語計(jì)算機(jī)等工具類知識，并且應(yīng)當(dāng)具備自我學(xué)習(xí)能力、團(tuán)隊(duì)合作能力、實(shí)施能力、自我意識能力和溝通能力。畢業(yè)生自身普遍認(rèn)為在校期間掌握的專業(yè)基礎(chǔ)知識、英語知識、計(jì)算機(jī)等工具知識、先進(jìn)知識、方法論知識，以及自我學(xué)習(xí)能力、自我管理能力、溝通能力、團(tuán)隊(duì)合作能力、自我意識能力和執(zhí)行能力等對個(gè)人的未來發(fā)展有重要作用。因此，優(yōu)秀的畢業(yè)生不僅要具備扎實(shí)的專業(yè)基礎(chǔ)，還應(yīng)具備專業(yè)理論的實(shí)際應(yīng)用能力、邏輯思維能力以及良好的溝通能力等一些非專業(yè)知識和技能[12]。

為此，本文以哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院的碩士研究生為對象，通過跟蹤這些學(xué)生入學(xué)后的培養(yǎng)過程，確定了以下評價(jià)指標(biāo)：

（1）綜合素質(zhì)：主要以畢業(yè)論文答辯成績、發(fā)表高質(zhì)量期刊（會議）論文、發(fā)表論文數(shù)量為認(rèn)定。

（2）專業(yè)基礎(chǔ)：主要以學(xué)位課總成績來認(rèn)定。其中，畢業(yè)論文成績在A及以上，或者學(xué)位課總成績在前20%，或者發(fā)表高質(zhì)量期刊（會議）論文以及發(fā)表多篇期刊（會議）論文的學(xué)生被評價(jià)為優(yōu)秀。

基于提出的上述評價(jià)指標(biāo)，采用機(jī)器學(xué)習(xí)及統(tǒng)計(jì)分析的方法反向分析研究生的各項(xiàng)入學(xué)考核指標(biāo)，得出各項(xiàng)入學(xué)考核指標(biāo)中對最終高質(zhì)量研究生培養(yǎng)的貢獻(xiàn)權(quán)重，找出具有關(guān)鍵性作用的入學(xué)考核指標(biāo)，為今后選拔優(yōu)秀生源提供指導(dǎo)性意見和建議。研究生的入學(xué)考核指標(biāo)包括：

（1）專業(yè)基礎(chǔ)：包括初試成績、復(fù)試成績以及總成績（總成績=初試成績+復(fù)試成績）。

其中，初試成績包括數(shù)學(xué)成績、英語成績、政治成績以及專業(yè)課成績;復(fù)試成績包括機(jī)試成績和面試成績。

（2）綜合素質(zhì)：考生本科院校來源，包括985院校、211院校以及普通院校。

2基于ID3算法的研究生質(zhì)量評價(jià)決策樹

2.1信息增益（ID3）算法

其中，S為全部數(shù)據(jù)樣例的集合;value（T）是對于屬性T來說所有的取值集合;v表示T的一個(gè)屬性值;Sv表示S中屬性T取值為v的所有數(shù)據(jù)樣例集合;|Sv|表示Sv中所包含樣例的個(gè)數(shù)。

信息增益（ID3算法）的特點(diǎn)是使用所有特征劃分?jǐn)?shù)據(jù)集，得到多個(gè)特征劃分?jǐn)?shù)據(jù)集的信息增益，并根據(jù)結(jié)果中信息增益最大的特點(diǎn)進(jìn)行細(xì)分，得到數(shù)據(jù)子集，當(dāng)數(shù)據(jù)集中已經(jīng)找不到新的屬性進(jìn)行節(jié)點(diǎn)分割，輸出決策樹，算法停止。在此過程中，采用自上而下的貪心搜索做出決策。

2.2樣本集合數(shù)據(jù)特征提取

樣本集合包括2部分?jǐn)?shù)據(jù)。第一部分是參加全國統(tǒng)一入學(xué)考試以及復(fù)試的研究生入學(xué)考核信息，包括考號、姓名、本科院校、政治成績、英語成績、數(shù)學(xué)成績、專業(yè)課成績、政治英語數(shù)學(xué)三科成績、初試成績、機(jī)試成績、面試成績、總成績;另一部分是研究生入學(xué)后的在校成績，包括學(xué)位課成績、畢業(yè)論文答辯成績、發(fā)表論文情況。同時(shí)考慮到一些碩士研究生出于直博或退學(xué)、休學(xué)等原因，導(dǎo)致沒有畢業(yè)論文成績，因此這部分研究生在校成績中的相關(guān)數(shù)據(jù)無效。此外，各學(xué)校保送的研究生沒有入學(xué)考試成績，對這類數(shù)據(jù)做刪除處理。將所有成績按照分?jǐn)?shù)取值范圍規(guī)約為“優(yōu)”、“良”、“差”三檔，將畢業(yè)院校按照985、211及0（普通院校）分為3檔。

2.3基于ID3算法生成決策樹

首先針對樣本集合數(shù)據(jù)計(jì)算特征的信息增益，確定當(dāng)前分類的最佳特征，計(jì)算結(jié)果見表1。顯然，面試成績的信息增益0.1689的值最大，因此確定最優(yōu)屬性為面試成績，將其選作分裂節(jié)點(diǎn)，生成決策樹，如圖1所示。

基于面試成績一次劃分的決策樹可以看出，面試成績?yōu)閮?yōu)秀的學(xué)生最終為優(yōu)秀碩士生的概率最大，而面試成績?yōu)榱蓟虿畹膶W(xué)生則有不同的可能性，因此需要繼續(xù)對剩余因素進(jìn)行挖掘。圖2是經(jīng)過3次劃分后獲得的決策樹，根據(jù)分類規(guī)則得出如下結(jié)論：在眾多影響研究生未來質(zhì)量的入學(xué)考核因素中，面試成績的影響最大，其次為機(jī)試成績和政治英語數(shù)學(xué)三科成績。

因此，提高研究生招生質(zhì)量首先要保證面試環(huán)節(jié)的專業(yè)性、合理性和公平性，制定出一套科學(xué)全面的面試考察體系至關(guān)重要。而且，在招生環(huán)節(jié)需要注重考生的政治英語數(shù)學(xué)三科成績，這三科成績突出的學(xué)生將來成為高質(zhì)量研究生的概率較大。對于計(jì)算機(jī)相關(guān)專業(yè)的學(xué)生而言，上機(jī)考試是遴選高質(zhì)量研究生的一個(gè)關(guān)鍵的因素，也是考察學(xué)生綜合實(shí)力的一個(gè)重要參考。

3基于統(tǒng)計(jì)學(xué)方法的分析驗(yàn)證

3.1本科畢業(yè)院校類型因素分析

將優(yōu)秀學(xué)生與非優(yōu)秀學(xué)生的本科畢業(yè)院校類型進(jìn)行統(tǒng)計(jì)對比，見表2，從統(tǒng)計(jì)結(jié)果看，本科畢業(yè)于985院校的學(xué)生中，優(yōu)秀學(xué)生與非優(yōu)秀學(xué)生的比例基本相同，分別為58.82%和60.09%，因此，本科畢業(yè)院校類型并不是遴選高質(zhì)量研究生的關(guān)鍵性因素。

3.2各項(xiàng)入學(xué)考核成績頻率分布直方圖和密度曲線分析

采用頻率分布直方圖和密度曲線對優(yōu)秀學(xué)生和非優(yōu)秀學(xué)生的各項(xiàng)入學(xué)考核指標(biāo)進(jìn)行對比分析，如圖3所示。以初試成績?yōu)槔?，研究可知，政治成績達(dá)到75分及以上的學(xué)生人數(shù)優(yōu)秀學(xué)生中占比為65%，非優(yōu)秀學(xué)生中占比為61%，兩者相差不多;英語成績達(dá)到75分及以上的學(xué)生人數(shù)、數(shù)學(xué)成績達(dá)到130分及以上的學(xué)生人數(shù)兩者占據(jù)比例基本相同，前者均為56%，后者均為27%。由圖3可以看出，專業(yè)課成績方面，優(yōu)秀學(xué)生中達(dá)到120分及以上的學(xué)生人數(shù)占比為41%，非優(yōu)秀學(xué)生中占比為49%，高于前者8%;綜合政治英語數(shù)學(xué)三科成績來看，達(dá)到280分及以上的學(xué)生人數(shù)優(yōu)秀學(xué)生中占比為21%，非優(yōu)秀學(xué)生中占比為25%;單看初試總成績，達(dá)到360分及以上的學(xué)生人數(shù)優(yōu)秀學(xué)生中占比為74%，非優(yōu)秀學(xué)生中占比為71%，兩者相差不大。

在復(fù)試方面，優(yōu)秀學(xué)生中面試成績達(dá)到80分及以上的學(xué)生人數(shù)占比為85%，非優(yōu)秀學(xué)生中占比為79%;機(jī)試成績達(dá)到160分及以上的學(xué)生人數(shù)優(yōu)秀學(xué)生中占比為68%，非優(yōu)秀學(xué)生中占比僅為57%。單獨(dú)看總成績，優(yōu)秀學(xué)生中達(dá)到630分及以上的學(xué)生人數(shù)占比為24%，非優(yōu)秀學(xué)生中占比為20%，兩者差距不是很明顯。

通過以上分析，可以初步得出結(jié)論：優(yōu)秀研究生與非優(yōu)秀研究生在初試成績方面區(qū)分不明顯，但在復(fù)試方面差別較大。如果不區(qū)分專業(yè)，面試成績將是一個(gè)重要的影響因素。若只針對計(jì)算機(jī)專業(yè)而言，機(jī)試成績將是另一個(gè)關(guān)鍵因素。

3.3各項(xiàng)入學(xué)考核成績的離散度分析

離散程度是衡量差異的一個(gè)重要尺度。如果某項(xiàng)指標(biāo)能使得不同水平的學(xué)生在成績上有著不同的表現(xiàn)，表明該指標(biāo)更好地區(qū)分了候選人。將一種評價(jià)指標(biāo)的優(yōu)秀學(xué)生成績和非優(yōu)秀學(xué)生成績繪制在一起可以更方便地看出兩者的區(qū)別。為此，采用盒圖與小提琴圖對研究生各項(xiàng)入學(xué)考核成績的離散度作進(jìn)一步分析。

優(yōu)秀學(xué)生與非優(yōu)秀學(xué)生各項(xiàng)入學(xué)考核成績的盒圖如圖4所示。由圖4可以直觀看出，優(yōu)秀學(xué)生英語成績、面試成績的中位數(shù)高于非優(yōu)秀學(xué)生。通過盒圖對比可以看出優(yōu)秀學(xué)生在機(jī)試上也有較好的表現(xiàn)。這說明，英語成績、面試成績和機(jī)試成績在各項(xiàng)指標(biāo)中能夠更好的區(qū)分考生的優(yōu)異。

考生各項(xiàng)入學(xué)考核成績的小提琴圖如圖5所示，小提琴圖中的垂直線是盒圖，邊緣是密度曲線。由圖5可看出，優(yōu)秀學(xué)生的英語成績大多集中在75分段，而非優(yōu)秀學(xué)生大多集中在65分段;優(yōu)秀學(xué)生機(jī)試成績的中位數(shù)成績明顯高于非優(yōu)秀學(xué)生，而高于140分的學(xué)生人數(shù)占比優(yōu)秀學(xué)生也明顯高于非優(yōu)秀學(xué)生;對比面試成績的中位數(shù)，優(yōu)秀學(xué)生的數(shù)據(jù)同樣高于非優(yōu)秀學(xué)生，且大部分優(yōu)秀學(xué)生成績分布在中位線以上。這表明，面試、機(jī)試和英語成績在區(qū)分優(yōu)秀生源方面發(fā)揮了積極作用。

綜合研究生各項(xiàng)入學(xué)考核成績的頻率分布直方圖和密度曲線、盒圖以及小提琴圖的分析結(jié)果，可以得出共性分析結(jié)論：復(fù)試環(huán)節(jié)的面試成績、機(jī)試成績（此項(xiàng)成績針對計(jì)算機(jī)相關(guān)專業(yè)）這兩個(gè)入學(xué)考核指標(biāo)在最終高質(zhì)量研究生遴選中具有關(guān)鍵性作用。

原因分析：研究生初試采用全國統(tǒng)一考試的形式，為了取得較高的成績，有些學(xué)生只注重相關(guān)課程學(xué)習(xí)，因而往往可能并不具備全面的知識和能力，發(fā)展?jié)摿Σ蛔?，較難勝任研究生階段的創(chuàng)新性和挑戰(zhàn)性研究工作。因此，初試成績在優(yōu)秀研究生的遴選中并沒有表現(xiàn)出十分明顯的區(qū)分度，這與相關(guān)調(diào)查結(jié)論也相吻合，即用人單位以及高校等研究機(jī)構(gòu)更喜歡在知識和能力以及綜合素質(zhì)方面可以充分發(fā)展的復(fù)合型人才及創(chuàng)新型人才。因此，研究生遴選需要更多地著重考核學(xué)生的綜合能力和綜合素質(zhì)。

4結(jié)束語

通過追蹤研究生入學(xué)后課程學(xué)習(xí)情況、參與科研項(xiàng)目以及碩士畢業(yè)論文完成質(zhì)量等過程，同時(shí)結(jié)合對畢業(yè)生工作后的回訪調(diào)查，提出了基于專業(yè)基礎(chǔ)和綜合素質(zhì)的研究生質(zhì)量評價(jià)指標(biāo)。基于新的評價(jià)指標(biāo)，首先采用經(jīng)典的ID3算法構(gòu)建分類決策樹，實(shí)驗(yàn)結(jié)果表明與研究生培養(yǎng)質(zhì)量相關(guān)的眾多入學(xué)考核因素中，影響最大的是復(fù)試環(huán)節(jié)中的面試考核成績，其次為復(fù)試環(huán)節(jié)的機(jī)試考核成績和初試環(huán)節(jié)的政治英語數(shù)學(xué)三科成績。再次，采用統(tǒng)計(jì)分析方法，利用頻率分布直方圖和密度曲線、盒圖以及小提琴圖對學(xué)生的各項(xiàng)入學(xué)考核指標(biāo)來進(jìn)行逆向分析驗(yàn)證，得出復(fù)試環(huán)節(jié)的面試考核成績和機(jī)試考核成績在高質(zhì)量研究生培養(yǎng)中具有關(guān)鍵性作用的最終結(jié)論。

因此，合理規(guī)范研究生考試流程、優(yōu)化復(fù)試方案、科學(xué)設(shè)置復(fù)試比重至關(guān)重要，使復(fù)試環(huán)節(jié)在區(qū)分考生能力方面的作用更加顯著。此外，還要特別注重制定面試過程的標(biāo)準(zhǔn)，在提高面試權(quán)重的同時(shí)加強(qiáng)面試內(nèi)容的包容性，使選拔過程更加客觀和公正，真正遴選出“綜合素質(zhì)高、專業(yè)基礎(chǔ)好、實(shí)踐能力強(qiáng)”的優(yōu)秀生源。

參考文獻(xiàn)

[1]HARYANAK，YOGAPNA，SUDIYANTO，etal.Mappingthegraduatequalityofautomotiveengineeringeducation（S1）studyprogramFTUNY[C]//JournalofPhysics：InternationalConferenceonVocationalEducationofMechanicalandAutomotiveTechnology.Yogyakarta，Indonesia：IOPPublishing，2018，1273：012034.

[2]TORRES-BARZABALLM，ORTIZ-CALDERNMP，BARCIA-TIRADODM.Qualityindicatorsforauditingon-lineteachinginEuropeanuniversities[J].TechTrends，2019，63（3）：330-340.

[3]TAIJ，AJJAWIR，BOUDD，etal.Developingevaluativejudgement：Enablingstudentstomakedecisionsaboutthequalityofwork[J].HigherEducation，2018，76（3）：467-481.

[4]PATILSM，MALIKAK.Correlationbasedreal-timedataanalysisofgraduatestudentsbehaviour[M]//SANTOSHK，HEGADIR.Recenttrendsinimageprocessingandpatternrecognition-2ndInternationalConference，RTIP2R2018，CommunicationsinComputerandInformationScience.Singapore：Springer，2018，1037：696-706.

[5]DANAHERM，SCHOEPPK，KRANOVAA.Effectiveevaluationofthenon-technicalskillsinthecomputingdiscipline[J].JournalofInformationTechnologyEducation：Research，2019，18：1-18.

[6]MALAGA-TOBOA，URSZULA，KWASNIEWSKI，etal.Methodsofevaluationofeducationqualityinbolognasystem[C]//19thInternationalMultidisciplinaryScientificGeoconference，SGEM2019.Albena，Bulgaria：EXPOSGEM，2019（19）：199-206.

[7]黃靜，屠中華.高等教育大眾化階段保障研究生招生質(zhì)量的思考[J].學(xué)位與研究生教育，2015（11）：51-55.

[8]侯俊，陳安民.研究生招生質(zhì)量評估體系研究[J].學(xué)位與研究生教育，2007（7）：22-25.

[9]王沛.研究生招生質(zhì)量評價(jià)體系研究[J].樂山師范學(xué)院學(xué)報(bào)，2015，30（4）：33-136.

[10]趙丹，易英欣.基于灰色聚類評價(jià)模型的研究生招生質(zhì)量研究[J].黑龍江高教研究，2014（11）：46-49.

[11]ZANPeng，XUEYingjie，CHANGMeihan.Researchontheeliminationmechanismofpostgraduatesunderthequalityassurancesystemofhighereducation[C]//Proceedingsofthe2019InternationalConferenceonModernEducationalTechnology，ICMET2019.Nanjing，China：NanjingUniversityofPostsandTelecommunications，2019：62-65.

[12]蘇小紅，王甜甜，李雪，等.研究生標(biāo)準(zhǔn)化復(fù)試對遴選生源質(zhì)量的影響分析[J].計(jì)算機(jī)教育，2018（11）：152-159.

[13]SIQUEIRAMB.Sucupira-AplatformfortheevaluationofgraduateeducationinBrazil[J].ProcediaComputerScience，2019，146：247-255.