鐘金宏，黃 玲，李興國，牛曉玲

（1．合肥工業(yè)大學(xué)管理學(xué)院，安徽合肥230009；2．解放軍電子工程學(xué)院，安徽合肥230037）

基于證據(jù)推理的高校人才培養(yǎng)質(zhì)量評價系統(tǒng)研究*

鐘金宏1，黃 玲2，李興國1，牛曉玲1

（1．合肥工業(yè)大學(xué)管理學(xué)院，安徽合肥230009；2．解放軍電子工程學(xué)院，安徽合肥230037）

本文分析了高校人才培養(yǎng)質(zhì)量監(jiān)控與評價方面的研究進展。采用面向互聯(lián)網(wǎng)的W eb應(yīng)用程序架構(gòu)，設(shè)計了一個涵蓋內(nèi)部教學(xué)質(zhì)量和外部人才培養(yǎng)質(zhì)量評估的高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)，并詳細分析了系統(tǒng)的具體組成。全面使用證據(jù)推理方法體系，建立了各類人才培養(yǎng)質(zhì)量評價模型，給出了系統(tǒng)實現(xiàn)方案。

人才培養(yǎng)質(zhì)量；監(jiān)控與評價系統(tǒng)；證據(jù)推理方法

教育部于2003年啟動了五年一輪的本科教學(xué)評估，以加強對人才培養(yǎng)質(zhì)量的評估與監(jiān)控。同時，學(xué)校為保證教學(xué)質(zhì)量和實時監(jiān)控，需要建立常態(tài)的教學(xué)質(zhì)量保障系統(tǒng)。本文提供了一個高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)的設(shè)計及實現(xiàn)方案。它可以動態(tài)檢測與評價各類教學(xué)活動及其責(zé)任主體的質(zhì)量，及時獲取外部對人才培養(yǎng)質(zhì)量的評價；通過集結(jié)內(nèi)外評價，對學(xué)校工作提供指導(dǎo)或?qū)颉?/p>

一、研究現(xiàn)狀分析

現(xiàn)代高等教育評估最早可追溯到1845年Mann用學(xué)生測量分數(shù)來評價一所學(xué)校的教學(xué)質(zhì)量。[1，2]目前這方面的研究主要有：

在指標體系研究上，很多研究集中在教學(xué)質(zhì)量監(jiān)控體系的構(gòu)建原則和總體設(shè)計方面，其中有一般性論述，也有針對具體類型高校和教學(xué)實體的。[3-5]涉及的各類具體指標體系可歸類為：課程教學(xué)質(zhì)量指標體系和教師評價、實踐教學(xué)質(zhì)量監(jiān)控指標體系、就業(yè)與外部評價。[6-8]從文獻可看出，目前的指標體系大都偏向課堂教學(xué)、教師教學(xué)等某一方面，缺乏面向教學(xué)、學(xué)生和管理人員三方面的綜合監(jiān)控與評價體系，難以全面評價高校的人才培養(yǎng)質(zhì)量。

在高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)建設(shè)方面，很多研究限于系統(tǒng)架構(gòu)和分析設(shè)計，且主要側(cè)重于某單一責(zé)任主體、載體和單一教學(xué)環(huán)節(jié)；實際系統(tǒng)的研發(fā)少，且大都功能單一，還沒有面向教師、學(xué)生和管理人員的涵蓋所有教學(xué)活動的全過程、全方位的人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)；部分研究關(guān)注了系統(tǒng)的具體實現(xiàn)技術(shù)，如數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、.NET、ASP、Web數(shù)據(jù)庫等技術(shù)在監(jiān)控與評價系統(tǒng)中的應(yīng)用。[9,10]

此外，部分作者研究了國外的高教評估情況，意在為國內(nèi)高教評估提供借鑒和啟示。[11-13]相當(dāng)多文獻介紹了高校在教學(xué)質(zhì)量監(jiān)控與評價方面的實踐情況。[14-17]在評估理論與方法方面，主要有ISO9000質(zhì)量管理體系、齊次馬爾可夫鏈分析法、層次分析法、模糊綜合評價和證據(jù)推理方法等在高校教學(xué)質(zhì)量監(jiān)控與評價中的應(yīng)用研究。[18-20]

二、系統(tǒng)架構(gòu)及組成

為適應(yīng)信息系統(tǒng)軟件的發(fā)展趨勢和信息收集發(fā)布的便利，高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)采用面向互聯(lián)網(wǎng)的Web應(yīng)用程序架構(gòu)。為實現(xiàn)充分利用現(xiàn)有的信息數(shù)據(jù)，以及與現(xiàn)有信息管理系統(tǒng)的無縫連接，開發(fā)基于XML的信息交換組件。系統(tǒng)結(jié)構(gòu)如圖所示。

圖 高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)

1.人機交互接口系統(tǒng)

信息采集、處理和轉(zhuǎn)換系統(tǒng)收集政府評估、中介評估、社會評價、用人單位評價，以及來自其他信息管理系統(tǒng)的信息，支持手工輸入、專用接口導(dǎo)入和網(wǎng)上收集。采集的原始數(shù)據(jù)經(jīng)處理、轉(zhuǎn)換由基礎(chǔ)數(shù)據(jù)庫管理系統(tǒng)存入基礎(chǔ)數(shù)據(jù)庫。

在其他監(jiān)控和評價系統(tǒng)中，各種質(zhì)量的信息輸入主要采取用戶習(xí)慣的方式，用圖表實現(xiàn)，盡量做到準確、直觀和有自我查錯能力，避免模型輸入錯誤。質(zhì)量評價結(jié)果主要以分布式方法描述，以圖表形式展示。數(shù)據(jù)庫、模型庫、方法與知識庫管理系統(tǒng)也將以專用人機接口實現(xiàn)，避免直接修改數(shù)據(jù)庫以增強系統(tǒng)容錯能力。

2.數(shù)據(jù)、模型、知識和方法庫

基礎(chǔ)數(shù)據(jù)庫和現(xiàn)有數(shù)據(jù)庫能互相兼容和通訊。除了從現(xiàn)有數(shù)據(jù)庫中提取、挖掘和整理的數(shù)據(jù)外，它主要用來存貯和管理與責(zé)任主體和教學(xué)活動質(zhì)量相關(guān)的原始信息。基礎(chǔ)數(shù)據(jù)庫管理系統(tǒng)除能提供常用的數(shù)據(jù)庫管理功能外，還應(yīng)該能和模型數(shù)據(jù)庫、知識與方法數(shù)據(jù)庫通訊，為其提供必要的原始信息，同時負責(zé)與人機接口和顯示模塊的通訊。

模型庫用于存貯質(zhì)量評價模型的結(jié)構(gòu)及運行模型所必需的知識和信息。模型數(shù)據(jù)庫用來存貯評價責(zé)任主體和教學(xué)活動質(zhì)量所需要的當(dāng)前輸入信息和相應(yīng)的評價結(jié)果。模型庫管理系統(tǒng)用來構(gòu)建、修改和更新模型結(jié)構(gòu)和相應(yīng)的模型數(shù)據(jù)庫，并負責(zé)和基礎(chǔ)數(shù)據(jù)庫的雙向通訊，即從基礎(chǔ)數(shù)據(jù)庫獲取模型所需的輸入信息，同時向基礎(chǔ)數(shù)據(jù)庫輸出質(zhì)量評價結(jié)果。

該系統(tǒng)需要應(yīng)用多種方法進行數(shù)據(jù)處理、信息轉(zhuǎn)換、知識推理和決策支持。例如，傳統(tǒng)的統(tǒng)計方法；決策理論中的規(guī)范化方法，以用來對數(shù)據(jù)進行歸類和預(yù)處理；證據(jù)推理方法中的數(shù)據(jù)轉(zhuǎn)換技術(shù)，以處理不精確信息和知識的綜合問題，并產(chǎn)生質(zhì)量的結(jié)果分布。這些方法將組成專有方法庫和知識庫，并與相應(yīng)模型庫中的模型結(jié)構(gòu)相鏈接以實現(xiàn)這些方法的功能。方法庫和知識庫管理系統(tǒng)負責(zé)方法的構(gòu)建、修改和更新。

3.監(jiān)控與評價系統(tǒng)的功能模塊

（1）教學(xué)活動質(zhì)量監(jiān)控與評價系統(tǒng)。教學(xué)活動按其性質(zhì)可分為公共基礎(chǔ)課程教學(xué)、專業(yè)課程教學(xué)、實踐教學(xué)和創(chuàng)新性教學(xué)。該系統(tǒng)實時地評價和產(chǎn)生各類教學(xué)活動的質(zhì)量分布，以準確和全面地指出教學(xué)活動中可能存在的質(zhì)量問題和嚴重程度；并可產(chǎn)生、分析和評價不同的質(zhì)量改進方案和估計可改進的程度，從而避免因盲目而制定不切實際或不必要的質(zhì)量改進方案。

（2）責(zé)任主體評價系統(tǒng)。教學(xué)活動責(zé)任主體可分為人員和機構(gòu)兩類。面向人員的責(zé)任主體包括教師、學(xué)生和管理人員；面向機構(gòu)的責(zé)任主體包括學(xué)院（系）、系（教研室）和教學(xué)管理部門。該系統(tǒng)產(chǎn)生各責(zé)任主體在各指標層次上的教學(xué)質(zhì)量水平分布和量化評分。分布式評價能夠?qū)Ω髦饕芾憝h(huán)節(jié)及方面做出全面客觀的評估，指出各責(zé)任主體在教學(xué)質(zhì)量及其管理上的主要薄弱環(huán)節(jié)和需要改進的方面。

（3）社會和用人單位評價系統(tǒng)。社會評價主要涉及學(xué)生、家長和市場等方面的評價，主要是學(xué)校聲譽和印象方面的，感性部分較多。用人單位評價比較實際、客觀，參考價值大。該系統(tǒng)給出社會和用人單位對學(xué)校人才培養(yǎng)質(zhì)量的評價分布。

（4）內(nèi)部、外部及內(nèi)外綜合評價系統(tǒng)。在教學(xué)活動及其責(zé)任主體的教學(xué)質(zhì)量評價的基礎(chǔ)上，進行校級內(nèi)部評估，判斷學(xué)校教學(xué)工作的整體運作態(tài)勢，對全校的人才培養(yǎng)過程及其質(zhì)量進行全面的綜合診斷，找出存在的問題，為學(xué)校相關(guān)決策提供依據(jù)，并建議改進方案。外部評估可看作是政府、社會、市場、畢業(yè)生和家長等對高等教育質(zhì)量的監(jiān)控，不具實時性，所得結(jié)果有助于學(xué)校培養(yǎng)社會需要人才；通過集結(jié)得到學(xué)校外部對人才培養(yǎng)質(zhì)量的評價分布。綜合內(nèi)部、外部的評價結(jié)果，給出某高校人才培養(yǎng)質(zhì)量的評價分布，生成評價結(jié)果的解釋；比較學(xué)校內(nèi)外部對人才培養(yǎng)質(zhì)量的評價，對學(xué)校工作提供指導(dǎo)或?qū)蜃饔谩?/p>

三、系統(tǒng)實現(xiàn)方案

1.數(shù)據(jù)收集、處理、歸化及數(shù)據(jù)庫準備工作

為實現(xiàn)前述系統(tǒng)，大量工作將用于支持每一個目標的數(shù)據(jù)收集。為了收集教學(xué)質(zhì)量指標的相關(guān)數(shù)據(jù)，將充分利用高校原有信息管理系統(tǒng)積累下的數(shù)據(jù)，如畢業(yè)生跟蹤系統(tǒng)，以及學(xué)校積累的紙質(zhì)數(shù)據(jù)；同時將采用調(diào)查問卷、網(wǎng)上信息收集、電話和電子郵件等多種方式采集信息。對收集的信息進行統(tǒng)計、量化分析和分類，建立了質(zhì)量信息關(guān)鍵詞的數(shù)據(jù)庫。

關(guān)鍵詞組織采用逐級下拉層次結(jié)構(gòu)，每一級關(guān)鍵詞都是人才培養(yǎng)質(zhì)量水平評價的內(nèi)容，只是不同層級的關(guān)鍵詞反映的是不同的管理深度，只有針對不同層級的關(guān)鍵詞進行統(tǒng)計、量化分析和模型計算，才能根據(jù)不同需要有層次地（或在不同層面上）提出不同的評價和改進措施或要求。

在網(wǎng)絡(luò)平臺和信息源分類數(shù)據(jù)庫建立后，需要將日常監(jiān)督工作中發(fā)現(xiàn)的質(zhì)量問題錄入到數(shù)據(jù)庫，在統(tǒng)計質(zhì)量問題數(shù)量的同時將不同質(zhì)量問題反映的質(zhì)量管理水平進行等級化或量化，綜合質(zhì)量問題數(shù)量后，將綜合信息作為源信息（或不同數(shù)學(xué)模型的輸入）提供給各類人才培養(yǎng)質(zhì)量水平評價模型。

2.基于證據(jù)推理方法的評價模型建立

在人才培養(yǎng)質(zhì)量的指標體系上，主要參考國內(nèi)外高校和教育部門的相關(guān)評估標準和模型。國內(nèi)將主要參考教育部的 《普通高等學(xué)校本科教學(xué)工作水平評估指標體系》以及相關(guān)學(xué)者研究成果。國外擬參考芬蘭ADULT學(xué)校、美國卡內(nèi)基·梅龍大學(xué)和杜克大學(xué)等在教學(xué)質(zhì)量評價方面的做法，亦參考美國、英國和德國等高教發(fā)達國家的政府及民間機構(gòu)的一些做法。在對機構(gòu)評估時，將參考和借鑒歐洲質(zhì)量管理委員會的標準模型，即EFQM模型，雖然它是面向歐洲企業(yè)的綜合質(zhì)量評估。擬基于XML技術(shù)先構(gòu)造一個基本的指標體系描述文件，再采用繼承遞增模式產(chǎn)生各類教學(xué)活動的指標體系描述文件。

采用證據(jù)推理方法體系作為建立人才培養(yǎng)質(zhì)量評價模型的理論基礎(chǔ)。證據(jù)推理方法的核心是采用基于評價準則的分布式置信結(jié)構(gòu)建模，并運用概率統(tǒng)計和人工智能中的近似推理方式進行多指標綜合。這種建模與分析的特點是質(zhì)量管理水平能夠客觀、準確和透明地評價成基于所規(guī)定準則的分布，這種分布可以在質(zhì)量評價指標的各個層次產(chǎn)生并可以進一步量化成評分。這種分布與評分相結(jié)合的評價方法既有助于產(chǎn)生真實、可信和全面的質(zhì)量評價結(jié)果，又能輔助識別哪些方面需要改進以提高質(zhì)量。即該質(zhì)量分布具有可追溯性和解釋性，可一直追溯到最底層的質(zhì)量關(guān)鍵詞，利于找出問題所在，避免改進方案的盲目性。

在評價標準或依據(jù)建立上，由于各個學(xué)校的定位不同、培養(yǎng)目標不同，所以對學(xué)生的知識、能力素質(zhì)的要求不一樣，擬采用用戶設(shè)定或用戶初始化來解決。在質(zhì)量等級與指標分類、分級間的關(guān)系上，考慮到人才培養(yǎng)質(zhì)量評價的方法、過程和結(jié)果同時具有定性和定量的特點，采用證據(jù)推理多指標決策方法中的置信結(jié)構(gòu)作為基本形式，對這類復(fù)雜評價問題進行信息收集、整理和歸類，將原始信息和數(shù)據(jù)轉(zhuǎn)換成證據(jù)推理方法所要求的信息結(jié)構(gòu)，建立教學(xué)質(zhì)量評價信息庫。

采用證據(jù)推理方法中的證據(jù)合成算法，直接利用置信結(jié)構(gòu)進行人才培養(yǎng)質(zhì)量的推理評估；利用證據(jù)推理方法中的基于規(guī)則和基于效用的信息轉(zhuǎn)換技術(shù)，實現(xiàn)各層次間質(zhì)量評估的傳遞。這樣可以全面有效地利用各類指標的檢驗過程和結(jié)果，以避免信息損失和變形，保證人才培養(yǎng)質(zhì)量評估的完整性、合理性和可靠性。

建立人才培養(yǎng)質(zhì)量評估模型的另一個步驟是估計各類指標在相應(yīng)評估層次上所起的相對作用?？梢韵胂?，各類指標所起作用的程度不會完全相同，因此，需要通過系統(tǒng)調(diào)查分析，建立各級各類指標的相對權(quán)重和可能的變化區(qū)域。

四、結(jié)束語

為實現(xiàn)校內(nèi)教學(xué)質(zhì)量的監(jiān)控與評價，獲取并集結(jié)校外對人才培養(yǎng)質(zhì)量的評價，本文設(shè)計了一個高校人才培養(yǎng)質(zhì)量監(jiān)控與評價系統(tǒng)的框架，分析了其詳細組成。全面使用證據(jù)推理方法體系，給出了該系統(tǒng)的實現(xiàn)方案。系統(tǒng)本身適用高校本科人才培養(yǎng)質(zhì)量監(jiān)控與評價，通過擴展（指標體系、模型），系統(tǒng)可實現(xiàn)對研究生培養(yǎng)質(zhì)量的監(jiān)控與評估；實現(xiàn)的基于證據(jù)推理的質(zhì)量評估方法適用于各種領(lǐng)域的質(zhì)量評估。☉

[1]張慧潔,袁海軍.高等學(xué)校教育評估概述[M].香港:雅園出版公司,2000:10-17.

[2]趙鐵.“水平評估”對教學(xué)質(zhì)量監(jiān)控體系構(gòu)建的啟示[J].高教論壇,2006(1):35-39.

[3]韓理安,張斌,劉紹勤.高等教育教學(xué)質(zhì)量監(jiān)控體系的總體設(shè)計[J].中國高教研究,2002(12):77-78.

[4]任文濤.高等學(xué)校教學(xué)質(zhì)量監(jiān)控與評價體系的若干思考[J].教育理論與實踐,2007,27(4):6-7.

[5]陳慧,張曉珠,劉濟科.研究型大學(xué)本科教學(xué)質(zhì)量監(jiān)控體系構(gòu)建與探索[J].高等理科教育,2006(1):7-10.

[6]張麗娜.北京理工大學(xué)課堂教學(xué)質(zhì)量監(jiān)控體系的建立與實踐[J].北京理工大學(xué)學(xué)報(社會科學(xué)版)2007,9(5):116-117.

[7]彭文博.實踐教學(xué)質(zhì)量監(jiān)控體系的實踐與探索[J].實驗室科學(xué),2006(2):11-13.

[8]余新麗,費毓芳.構(gòu)建新的高校就業(yè)工作評價體系[J].高等農(nóng)業(yè)教育,2004(4):79-82.

[9]陳德良.高校質(zhì)量管理信息系統(tǒng)關(guān)鍵技術(shù)研究[J].(中國)教育信息化,2006(11):39-41.

[10]趙秀峰.基于ASP和W eb數(shù)據(jù)庫的高校教學(xué)質(zhì)量評價系統(tǒng)的設(shè)計與實現(xiàn)[J].中國教育信息化2007(7):54-55.

[11]劉紹勤,韓理安.國內(nèi)外教學(xué)質(zhì)量監(jiān)控與評估的比較研究及啟示[J].中國高教研究,2002(5):51-52.

[12]劉拓.國外高校教學(xué)質(zhì)量監(jiān)控體系分析及啟示[J].高等理科教育,2006(1):83-86.

[13]史秋衡.美國社區(qū)學(xué)院教學(xué)質(zhì)量監(jiān)控體系的結(jié)構(gòu)及設(shè)計思想[J].高等教育研究,2006,27(8):91-96.

[14]朱永江.構(gòu)建高校內(nèi)部教學(xué)質(zhì)量監(jiān)控體系的探索[J].高教發(fā)展與評估,2005,21(1):51-52.

[15]楊小慧,魏紅.北京高等學(xué)校教學(xué)質(zhì)量監(jiān)控與評價現(xiàn)狀分析[J].高等理科教育,2005(1):34-38

[16]陳新民.新建本科院校教學(xué)管理制度改革的思考和實踐[J].中國大學(xué)教學(xué),2005(12):47-49.

[17]高海生.高等教育教學(xué)質(zhì)量保障監(jiān)控體系的構(gòu)建與實踐[J].教育研究2006(10):89-92.

[18]冉寶春,魏建軍.我國高校建立ISO 9000質(zhì)量管理體系的誤區(qū)分析[J].清華大學(xué)教育研究,2004,25(6):43-46.

[19]張镅.齊次馬爾可夫鏈分析法在教學(xué)效果綜合評價中的應(yīng)用[J].合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版)1999,S1:162-165.

[20]Y.M.W ang,J.B.Yang and D.L.Xu.The Evidential Reasoning Approach for Multiple Attribute Decision Analysis Using Interval Belief Degrees[J].European Journal of Operational Research2006,175(1):35-66.

（編輯：金冉）

G642.0

B

1673-8454（2010）13-0080-03

安徽省高等學(xué)校省級教學(xué)研究重點項目（2008jyxm047），合肥工業(yè)大學(xué)教學(xué)研究項目（XJ2009015）。