【摘 要】

本研究針對(duì)網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)存在的問題，研究了基于云模型的網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)方法。研究首先采用德爾菲法構(gòu)建了評(píng)價(jià)指標(biāo)體系并確定了評(píng)價(jià)標(biāo)準(zhǔn)云模型，然后為了克服評(píng)價(jià)中的模糊性和隨機(jī)性采用了云權(quán)重進(jìn)行評(píng)價(jià)，接著闡述了基于歐式距離的評(píng)價(jià)等級(jí)確定方法，最后進(jìn)行了實(shí)例說(shuō)明。本方法在部分程度上能夠解決網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)不足的問題，評(píng)價(jià)結(jié)果可以為授課教師、學(xué)習(xí)者以及網(wǎng)絡(luò)教育機(jī)構(gòu)提供一定的參考。

【關(guān)鍵詞】 網(wǎng)絡(luò)教育；教學(xué)質(zhì)量評(píng)價(jià)；云模型；云權(quán)重

【中圖分類號(hào)】 G420 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009—458x（2013）10—0022—08

隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的普及與發(fā)展，網(wǎng)絡(luò)教育得到了迅速發(fā)展，成為遠(yuǎn)程教育的新形式。目前，除了教育部確定的現(xiàn)代遠(yuǎn)程教育試點(diǎn)院校外，基礎(chǔ)教育領(lǐng)域和一些企業(yè)單位也開辦了面向不同層次學(xué)生的網(wǎng)上學(xué)習(xí)與培訓(xùn)[1]。教師授課作為網(wǎng)絡(luò)教育的重要環(huán)節(jié)，其質(zhì)量評(píng)價(jià)是網(wǎng)絡(luò)教育教學(xué)管理的重要組成，如何進(jìn)行網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)是一項(xiàng)值得研究的重要課題。

一、文獻(xiàn)回顧

相關(guān)學(xué)者也認(rèn)識(shí)到了網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)工作的重要性，并做了研究，主要研究成果總結(jié)如下。

蔡怡[2]分析了遠(yuǎn)程高等教育教學(xué)質(zhì)量評(píng)價(jià)準(zhǔn)則設(shè)計(jì)，并提出改進(jìn)評(píng)價(jià)方法的五條思路；李葆萍[3]探討了網(wǎng)絡(luò)教育評(píng)價(jià)系統(tǒng)的實(shí)現(xiàn)，并介紹了這個(gè)系統(tǒng)的主要結(jié)構(gòu)、功能；陶勇等[4]嘗試性地提出一種網(wǎng)絡(luò)教學(xué)評(píng)價(jià)模型和實(shí)現(xiàn)策略；柳瓊?cè)A等[5]結(jié)合西南交通大學(xué)網(wǎng)絡(luò)教育學(xué)院的實(shí)踐經(jīng)驗(yàn)，提出網(wǎng)絡(luò)教育教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)的設(shè)計(jì)，論述了該教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)的建設(shè)目標(biāo)和結(jié)構(gòu)。上述研究對(duì)網(wǎng)絡(luò)教育教學(xué)質(zhì)量評(píng)價(jià)準(zhǔn)則、實(shí)現(xiàn)途徑等做了有益的分析和總結(jié)，但都屬于探討與嘗試性質(zhì)且沒有提出具體的評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法。

從評(píng)價(jià)指標(biāo)上來(lái)看，有文獻(xiàn)[6]就中外現(xiàn)代遠(yuǎn)程教育教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行比較，為建立行之有效的教學(xué)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)提供了理論依據(jù)。童小平等[7]采用文獻(xiàn)調(diào)研與專家訪談相結(jié)合的方法，從學(xué)生評(píng)價(jià)維度建立了一套網(wǎng)絡(luò)教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)。任穎[8]在總結(jié)我國(guó)遠(yuǎn)程高等教學(xué)經(jīng)驗(yàn)的基礎(chǔ)上，并參考國(guó)外某些遠(yuǎn)程高校的教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)和方法，制定了現(xiàn)代遠(yuǎn)程教育教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系。有文獻(xiàn)[9]通過(guò)國(guó)內(nèi)外比較分析和實(shí)踐調(diào)研，從網(wǎng)絡(luò)教學(xué)準(zhǔn)備、實(shí)施、學(xué)習(xí)支持服務(wù)、教學(xué)改革和研究四個(gè)方面，構(gòu)建了一套科學(xué)有效、切實(shí)可行的網(wǎng)絡(luò)教育教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系。以上文獻(xiàn)是有關(guān)網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)指標(biāo)體系研究的代表性文獻(xiàn)，其研究成果對(duì)本文指標(biāo)體系的構(gòu)建極具參考價(jià)值并提供理論基礎(chǔ)。

從評(píng)價(jià)方法來(lái)看，代表性研究成果有：黃宇[10]確立了遠(yuǎn)程高等教育教學(xué)質(zhì)量評(píng)價(jià)三級(jí)指標(biāo)體系，并采用加權(quán)平均法計(jì)算綜合評(píng)分，然而加權(quán)平均法的問題在于難以證明各個(gè)評(píng)價(jià)因素之間是否具有線性可加性。董莉[11]構(gòu)建了網(wǎng)絡(luò)教育評(píng)價(jià)指標(biāo)體系，并采用模糊評(píng)價(jià)方法進(jìn)行評(píng)價(jià)。張寧蓉等[1]建立了網(wǎng)絡(luò)課程質(zhì)量評(píng)價(jià)指標(biāo)體系層次分析模型，用層次分析法進(jìn)行了指標(biāo)權(quán)重的測(cè)定，最后同樣采用模糊理論進(jìn)行了網(wǎng)絡(luò)課程質(zhì)量的綜合評(píng)價(jià)。模糊綜合評(píng)價(jià)方法需要用先驗(yàn)知識(shí)確定隸屬度函數(shù)，這是評(píng)價(jià)過(guò)程中的難點(diǎn)。郭協(xié)潮[12]參照其他學(xué)者網(wǎng)絡(luò)教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系，基于BP神經(jīng)網(wǎng)絡(luò)算法，建立了一套網(wǎng)絡(luò)教學(xué)質(zhì)量的評(píng)價(jià)模型，但該方法存在諸如網(wǎng)絡(luò)中隱藏節(jié)點(diǎn)個(gè)數(shù)的確定以及學(xué)習(xí)訓(xùn)練過(guò)程中容易陷入局部最優(yōu)等難點(diǎn)問題。

綜上所述，雖然我國(guó)網(wǎng)絡(luò)教育發(fā)展迅猛，但卻沒有制定出如何保證網(wǎng)絡(luò)教育質(zhì)量的相關(guān)政策的評(píng)價(jià)標(biāo)準(zhǔn)[13]，相關(guān)學(xué)者雖然對(duì)網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)進(jìn)行了有益的嘗試，但尚未形成統(tǒng)一的、系統(tǒng)的評(píng)價(jià)指標(biāo)體系以及較為科學(xué)合理的評(píng)價(jià)方法[5，9，15]。因此對(duì)網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)研究力度還不夠[14]，亟須開展相關(guān)研究。

網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)分為兩個(gè)層次[15]：第一，任課教師個(gè)人教學(xué)授課評(píng)價(jià)體系；第二，包括學(xué)校教學(xué)管理在內(nèi)的整體教學(xué)工作質(zhì)量評(píng)價(jià)體系。本研究只包括前者。

由于在主、客觀世界普遍存在的不確定性中，隨機(jī)性和模糊性是最重要的兩種形式[16，17]，因而在評(píng)價(jià)中也存在隨機(jī)性和模糊性，評(píng)價(jià)工作中隨機(jī)性和模糊性產(chǎn)生的原因有[18]：① 外界環(huán)境影響的不確定性；② 評(píng)價(jià)工作的復(fù)雜性；③ 人類認(rèn)識(shí)的模糊性。具體到網(wǎng)絡(luò)教育評(píng)價(jià)中的隨機(jī)性和模糊性也是普遍存在的，例如，學(xué)習(xí)者由于知識(shí)水平不同，對(duì)同一知識(shí)點(diǎn)的掌握情況就可能不同，這在評(píng)價(jià)中就出現(xiàn)了模糊性；再如，有的教師通常能及時(shí)回答學(xué)生提問，但若遇突發(fā)情況，回答速度就可能會(huì)受影響，這使評(píng)價(jià)出現(xiàn)了隨機(jī)因素等。為了使網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)更接近實(shí)際情況，就必須考慮這些隨機(jī)的、模糊的因素，而云模型可以有效解決評(píng)價(jià)中的模糊性和隨機(jī)性[19，20]，因而可采用云模型來(lái)研究網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)問題。

二、云模型概述

云模型是由李德毅院士[21]提出的，是用于描述定性概念與其數(shù)值表示之間不確定性的轉(zhuǎn)化模型。云模型可以通過(guò)三個(gè)數(shù)字特征（期望Ex，熵En，超熵He）來(lái)反映定性概念整體上的定量特征，能夠?qū)⒛：院碗S機(jī)性關(guān)聯(lián)到一起，構(gòu)成定性和定量的相互映射關(guān)系。其中，期望Ex在數(shù)域空間中代表定性概念的點(diǎn)，反映這個(gè)概念的云滴群的重心位置；熵En被用來(lái)衡量定性概念的模糊度與概率，反映定性概念的不確定性；超熵He是熵的不確定性度量，即熵的熵，反映了數(shù)域空間中代表該語(yǔ)言值所有點(diǎn)的不確定度的凝聚性，即云滴的凝聚度。由于研究中所用到的云模型理論知識(shí)主要涉及逆向云發(fā)生器和運(yùn)算法則，限于篇幅原因，著重介紹這兩部分的理論知識(shí)。李德毅 等[22]論證了正態(tài)云的普適性，因而采用正態(tài)云來(lái)進(jìn)行教師授課質(zhì)量的評(píng)價(jià)，且介紹的云模型理論僅針對(duì)正態(tài)云。

（一）逆向云發(fā)生器

以下介紹的逆向云發(fā)生器屬于無(wú)確定度信息的逆向云發(fā)生器，其輸入是給定的一組樣本x = （x1， x2， …， xi， …， xn），輸出是云模型的三個(gè)數(shù)字特征（Ex， En， He），具體算法如下[21]：

1. 計(jì)算樣本均值[X]=[1n][i=1nxi]

一階樣本絕對(duì)中心矩[d]=[1n][i=1nxi-X]

樣本方差[S2=1n-1][i=1n（xi-X）2]

2. 計(jì)算期望：[Ex=X]；

3. 計(jì)算熵：[En=dπ2]

4. 計(jì)算超熵：[He=S2-En2]

（二）云的運(yùn)算規(guī)則

設(shè)有2個(gè)云Cloud1（Ex1， En1， He1）和Cloud2（Ex2， En2， He2），新云Cloud（Ex， En， He）由Cloud1和Cloud2通過(guò)加減乘除運(yùn)算規(guī)則得到，對(duì)應(yīng)的運(yùn)算規(guī)則如表1所示。

表1 云的運(yùn)算規(guī)則

[運(yùn)算符＼&期望Ex＼&熵En＼&超熵He＼&+＼&Ex1+Ex2＼&＼&＼&-＼&Ex1-Ex2＼&＼&＼&×＼&Ex1×Ex2＼&＼&＼&/＼&Ex1/Ex2＼&＼&＼&]

三、評(píng)價(jià)步驟

（一）評(píng)價(jià)指標(biāo)體系的構(gòu)建

現(xiàn)有的指標(biāo)體系構(gòu)建方法有兩類[23]：專家主觀評(píng)定和比較判定法以及數(shù)據(jù)統(tǒng)計(jì)分析法。通常來(lái)說(shuō)，第一類適用于資料有限，主要依據(jù)專家經(jīng)驗(yàn)知識(shí)來(lái)確定指標(biāo)的被評(píng)價(jià)對(duì)象，第二類適用于具有定量指標(biāo)的被評(píng)價(jià)對(duì)象。由于網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)中的眾多指標(biāo)屬于定性指標(biāo)，因此適宜采用第一類方法。德爾菲法是第一類中的典型方法，具有能充分發(fā)揮各位專家作用、避免權(quán)威人士影響他人意見等諸多優(yōu)點(diǎn)[24]，所以采用德爾菲法構(gòu)建評(píng)價(jià)指標(biāo)體系。德爾菲法的關(guān)鍵步驟如圖1所示。

圖1 德爾菲法關(guān)鍵步驟流程

1. 成立領(lǐng)導(dǎo)協(xié)調(diào)小組

領(lǐng)導(dǎo)協(xié)調(diào)小組負(fù)責(zé)整個(gè)項(xiàng)目計(jì)劃的制訂，監(jiān)督項(xiàng)目的實(shí)施進(jìn)度，協(xié)調(diào)成立專家小組，保障咨詢活動(dòng)順利開展等方面的工作。

2. 構(gòu)建原始指標(biāo)

原始指標(biāo)的構(gòu)建主要有兩個(gè)途徑：一是通過(guò)查閱相關(guān)文獻(xiàn)，總結(jié)梳理；二是分析總結(jié)實(shí)踐經(jīng)驗(yàn)。

3. 開發(fā)指標(biāo)確定系統(tǒng)

為了提高咨詢工作效率，降低咨詢成本，開發(fā)了一套基于Web的動(dòng)態(tài)交互在線指標(biāo)確定系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)了德爾菲法的關(guān)鍵步驟，主要功能有：統(tǒng)計(jì)專家基本信息，批量增加新指標(biāo)，在線咨詢，咨詢結(jié)果數(shù)據(jù)統(tǒng)計(jì)顯示以及自動(dòng)篩選指標(biāo)等。

4. 組成專家小組

咨詢工作共邀請(qǐng)了25名專家，專家包括網(wǎng)絡(luò)教育機(jī)構(gòu)有關(guān)領(lǐng)導(dǎo)、教育管理學(xué)研究者、網(wǎng)絡(luò)教育教師和學(xué)習(xí)者，其中網(wǎng)絡(luò)教育教師的篩選條件是：具有8年以上一線授課經(jīng)歷且近3年考評(píng)為優(yōu)秀或相當(dāng)?shù)燃?jí)。學(xué)習(xí)者的篩選條件為：課程累計(jì)學(xué)時(shí)大于300小時(shí)且有3/4課程達(dá)到優(yōu)秀或同等水平。邀請(qǐng)學(xué)習(xí)者可以保證指標(biāo)體系的全面性，主要原因有兩條：一是學(xué)習(xí)者是網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)的主要評(píng)價(jià)人，二是評(píng)價(jià)的主要目的是通過(guò)學(xué)習(xí)者的評(píng)價(jià)提高授課質(zhì)量，讓學(xué)習(xí)者滿意。此外，可以通過(guò)控制專家小組學(xué)習(xí)者的人數(shù)和權(quán)重來(lái)保證指標(biāo)體系的權(quán)威性和導(dǎo)向性。在專家組成員人數(shù)的確定中首先應(yīng)用頭腦風(fēng)暴法[25]確定了各類專家對(duì)指標(biāo)體系的貢獻(xiàn)因素以及各因素的計(jì)量方法，然后構(gòu)建了目標(biāo)函數(shù)和約束條件，最后通過(guò)分支限界法[26]確定專家組成員人數(shù)。

① 指標(biāo)體系貢獻(xiàn)因素的確定

經(jīng)預(yù)先召開專家小組會(huì)議，采用頭腦風(fēng)暴法確定的各類專家對(duì)指標(biāo)體系的貢獻(xiàn)因素主要有專家對(duì)指標(biāo)體系的權(quán)威性、導(dǎo)向性的貢獻(xiàn)，專家對(duì)該領(lǐng)域的熟悉程度，以及指標(biāo)體系的易用性四項(xiàng)，由于這四項(xiàng)因素在專家組成員人數(shù)選取中的重要性不同，因而采用層次分析法確定了四項(xiàng)因素的權(quán)重（λ1， λ2， λ3， λ4） = （0.3， 0.27， 0.26， 0.17）。

② 各類專家對(duì)指標(biāo)體系貢獻(xiàn)因素的計(jì)量方法

專家通過(guò)在會(huì)議上各抒己見、會(huì)后總結(jié)分析達(dá)成了一種高效且簡(jiǎn)便、可行的四項(xiàng)因素計(jì)量方法。專家對(duì)指標(biāo)體系的權(quán)威性、導(dǎo)向性的貢獻(xiàn)和指標(biāo)體系的易用性三項(xiàng)因素可以將各類專家依據(jù)貢獻(xiàn)度排序，然后對(duì)各類專家賦值的方法進(jìn)行計(jì)量，例如經(jīng)頭腦風(fēng)暴法確定教育機(jī)構(gòu)管理者對(duì)指標(biāo)體系的導(dǎo)向性貢獻(xiàn)最大，學(xué)者次之，然后是教師，最后是學(xué)習(xí)者，并分別賦值（1， 0.75， 0.5， 0.25）。專家對(duì)該領(lǐng)域的熟悉程度的計(jì)量方法可以分別計(jì)算各專家進(jìn)入該領(lǐng)域的時(shí)間長(zhǎng)度，然后按照各類專家求取平均數(shù)，最后歸一化到（0， 1）區(qū)間。雖然以各專家進(jìn)入該領(lǐng)域的時(shí)間長(zhǎng)度來(lái)衡量專家對(duì)該領(lǐng)域的熟悉程度可能不夠全面，但是能夠在一定程度上高效簡(jiǎn)便地反映專家對(duì)該領(lǐng)域熟悉程度。

③目標(biāo)函數(shù)及約束條件的構(gòu)建

設(shè)n為專家組成員總?cè)藬?shù)，教育機(jī)構(gòu)領(lǐng)導(dǎo)、學(xué)者、教師、學(xué)習(xí)者的人數(shù)分別為n1， n2， n3， n4，第i類專家對(duì)第j項(xiàng)因素的貢獻(xiàn)度為xji，則目標(biāo)函數(shù)為

[maxF=j=14λji=14nixji]

依據(jù)條件，可得約束條件

[s.t.n1+n2+n3+n4=n0n1n0n2n0n3n0n4n]

④目標(biāo)函數(shù)的求解及計(jì)算結(jié)果

很顯然上述問題是一個(gè)在約束條件下求目標(biāo)函數(shù)最優(yōu)整數(shù)解問題，分支限界法[26]可以有效求解本例問題，求解結(jié)果如表2。

表2 專家組成員統(tǒng)計(jì)情況

[＼&教育機(jī)構(gòu)領(lǐng)導(dǎo)＼&研究學(xué)者＼&網(wǎng)絡(luò)教育教師＼&學(xué)員＼&人數(shù)（人）＼&7＼&8＼&7＼&3＼&比例（%）＼&28＼&32＼&28＼&12＼&]

5. 咨詢工作

在第一輪咨詢工作前，專家通過(guò)指標(biāo)確定系統(tǒng)添加新的指標(biāo)，加上原始指標(biāo)形成初始指標(biāo)。本文的咨詢工作是各專家通過(guò)指標(biāo)確定系統(tǒng)在網(wǎng)上完成的，第一輪咨詢工作界面如圖2所示。

圖2 第一輪咨詢工作界面舉例

6. 數(shù)據(jù)統(tǒng)計(jì)

根據(jù)專家對(duì)各指標(biāo)判定情況，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，統(tǒng)計(jì)的主要指標(biāo)包括專家積極系數(shù)、滿分比、等級(jí)和、加權(quán)平均數(shù)、變異系數(shù)和協(xié)調(diào)系數(shù)等。由于篇幅關(guān)系只介紹與本文相關(guān)的滿分比、等級(jí)和和協(xié)調(diào)系數(shù)。

①滿分比

[Ki=ain×100%]

式中n為專家人數(shù)，αi在第一輪等于認(rèn)為指標(biāo)i一般或重要（第一輪按指標(biāo)重要性分為：不需即0、一般即1和重要即2）的專家人數(shù)，在以后幾輪等于認(rèn)為指標(biāo)i一般重要、比較重要和非常重要（后邊幾輪按指標(biāo)重要性分為：不重要即1、不太重要即2、一般重要即3、比較重要即4和非常重要即5）的人數(shù)。

②等級(jí)和

[Si=j=1nRij]

式中Rij表示j專家對(duì)i指標(biāo)的評(píng)價(jià)等級(jí)。

③協(xié)調(diào)系數(shù)

[W=12n（m3-m）-ni=1nTij=1md2j]

式中n為專家總數(shù)，m為指標(biāo)數(shù)，dj為個(gè)指標(biāo)等級(jí)和的離均差，Ti為相同等級(jí)指標(biāo)。

7. 指標(biāo)篩選判斷條件[27]

指標(biāo)篩選判斷條件有兩條：

① 在各輪咨詢中如果指標(biāo)i的滿分比Ki≤50%時(shí)，刪除該指標(biāo)；

②在第一輪咨詢中如果指標(biāo)i等級(jí)和Si≤n/2時(shí)，刪除該指標(biāo)，在第二輪及以后咨詢中如果指標(biāo)等級(jí)和Si≤2n，刪除該指標(biāo)。

8. 咨詢結(jié)束判斷條件[23]

進(jìn)行協(xié)調(diào)系數(shù)顯著性檢驗(yàn)

[X2=j=1md2jnm（m+1）-1m-1i=1nTi]

自由度=m-1，計(jì)算[Z=2x2-2m-1]，按標(biāo)準(zhǔn)正態(tài)分布規(guī)律判定統(tǒng)計(jì)意義界限。如果P≤0.05說(shuō)明協(xié)調(diào)性較好，結(jié)果可取，咨詢結(jié)束；如果P>0.05說(shuō)明結(jié)果不可取。

9. 指標(biāo)體系的最終確定

按照上述步驟，在第二輪咨詢結(jié)束后，經(jīng)過(guò)數(shù)據(jù)統(tǒng)計(jì)后各指標(biāo)滿分比都大于86%，等級(jí)和均大于88，說(shuō)明各指標(biāo)不可再刪除，是體系不可或缺的。協(xié)調(diào)系數(shù)0.167，顯著性檢驗(yàn)P≤0.05，可以結(jié)束咨詢過(guò)程，確定的網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)指標(biāo)體系如表3所示。

（二）評(píng)價(jià)標(biāo)準(zhǔn)云模型的確定

標(biāo)準(zhǔn)云模型的確定也就是在論域中如何劃分定性概念的問題。目前主要有兩種基于云模型的評(píng)價(jià)集生成方法：基于云變換的數(shù)據(jù)驅(qū)動(dòng)法和基于黃金分割的模型驅(qū)動(dòng)法。前者適用于給定數(shù)據(jù)量較大的情形，后者適用于定性指標(biāo)較多的情形。本研究適宜采用基于黃金分割的模型驅(qū)動(dòng)法[28][29]確定評(píng)價(jià)標(biāo)準(zhǔn)云模型，若設(shè)定性語(yǔ)言值范圍在[0， 1]，相鄰云的熵和超熵中，較小者是較大者的0.618倍。

由于構(gòu)建的評(píng)價(jià)指標(biāo)體系中評(píng)語(yǔ)個(gè)數(shù)為3、4、5個(gè)，因而分別對(duì)應(yīng)3、4、5個(gè)評(píng)估等級(jí)（評(píng)價(jià)標(biāo)準(zhǔn)云模型），對(duì)應(yīng)的云模型如表4所示。

（三）各指標(biāo)權(quán)重的確定

一般來(lái)說(shuō)，權(quán)重的確定方向法有主觀法、客觀法和主客觀結(jié)合的方法。主觀法通常用于定性指標(biāo)較多、依賴主觀經(jīng)驗(yàn)知識(shí)的情況，客觀法一般用于定量指標(biāo)、指標(biāo)數(shù)據(jù)能夠獲得的情況，主客觀相結(jié)合的方法一般用于部分指標(biāo)能夠量化，數(shù)據(jù)可以獲得，但評(píng)價(jià)過(guò)程中主觀作用比較大的情況。本研究中定性指標(biāo)較多，權(quán)重的確定依賴主觀經(jīng)驗(yàn)知識(shí)，因此適用主觀定權(quán)法。云權(quán)重又稱“軟權(quán)重”，是主觀定權(quán)法的一種，它由3個(gè)數(shù)字特征表示Cloudw （wEx， wEn， wHe），其中wEx就是傳統(tǒng)概念上的權(quán)重，而熵wEn與超熵wHe是用來(lái)軟化權(quán)重的參數(shù)。

為方便討論，分別采用層次分析法[30][31]和云模型來(lái)求取各指標(biāo)權(quán)重。在求解云權(quán)重之前先要確定云權(quán)重標(biāo)尺，仍然采用基于黃金分割的模型驅(qū)動(dòng)法確定云權(quán)重標(biāo)尺，云權(quán)重標(biāo)尺如表4中的第一列所示。專家依據(jù)云標(biāo)尺對(duì)各個(gè)指標(biāo)的重要性打分，之后應(yīng)用第二節(jié)中介紹的逆向云發(fā)生器的計(jì)算步驟，得到各指標(biāo)的云權(quán)重，結(jié)果如表5所示。

表5中CR為層次分析法判斷矩陣一致性比例，其中指標(biāo)U1～U4的初始判斷矩陣一致性比例CR = 0.116 > 0.1，需要進(jìn)行一致性調(diào)整[31]，按照文獻(xiàn)[32]的方法進(jìn)行一致性調(diào)整后，一致性比例CR = 0.0923 < 0.1。

從表5中可以得出：① 如果只看云權(quán)重期望部分與層次分析法得出的權(quán)值，在各組指標(biāo)重要性大小的排序上是一致的，對(duì)應(yīng)權(quán)重絕對(duì)誤差平均值為0.0178，相差不是很大；② 層次分析法所得權(quán)重均在云權(quán)重的3σ區(qū)間范圍內(nèi)；③ 對(duì)于層次分析法，當(dāng)判斷矩陣一致性比例CR>0.1，需要進(jìn)行一致性調(diào)整。

綜上，從性能來(lái)看，就本例而言層次分析法所得權(quán)重和云權(quán)重相差不大，說(shuō)明層次分析法與云模型求解權(quán)重的性能相當(dāng)；從信息反映情況來(lái)看，層次分析法雖然可以通過(guò)一致性比例在一定程度上反映認(rèn)知上的差異，但由于判斷矩陣一致性比例并不參與評(píng)價(jià)，因而評(píng)價(jià)中無(wú)法反映此信息，而云權(quán)重可以通過(guò)熵反映出來(lái)，并使這一信息加入到評(píng)價(jià)中，最終傳導(dǎo)到評(píng)價(jià)結(jié)果中；從計(jì)算過(guò)程來(lái)看，云權(quán)重不需要一致性檢驗(yàn)與一致性調(diào)整的計(jì)算。因而本研究采用“云權(quán)重”。

（四）綜合評(píng)判方法

綜合評(píng)判的思想是由底層的指標(biāo)結(jié)合各指標(biāo)的權(quán)重通過(guò)一定的運(yùn)算方法，逐級(jí)評(píng)價(jià)直至最終目標(biāo)層。本研究把各指標(biāo)的評(píng)價(jià)結(jié)果與對(duì)應(yīng)云權(quán)重通過(guò)云運(yùn)算規(guī)則綜合起來(lái)，逐級(jí)評(píng)價(jià)，得到目標(biāo)層的評(píng)價(jià)結(jié)果。綜合評(píng)判方法為：設(shè)某一層指標(biāo)U由下一級(jí)n個(gè)指標(biāo)（U1， U2， … ，Ui， … ， Un）構(gòu)成，第i個(gè)指標(biāo)的云權(quán)重為wi = （wExi， wEni， wHei），且對(duì)應(yīng)的評(píng)價(jià)云模型為Ri= （Exi， Eni， Hei），則依據(jù)云運(yùn)算法則，指標(biāo)U的評(píng)價(jià)云模型R = （Ex， En， He）為[33]：

[R=i=1nwi*Ri]

wi與Ri的合成涉及云運(yùn)算中的加和乘規(guī)則，這里不再將上式展開。

（五）評(píng)價(jià)等級(jí)的確定

評(píng)價(jià)等級(jí)確定的主要思路是比較評(píng)價(jià)云模型和標(biāo)準(zhǔn)云模型的相似度，因?yàn)樵颇Ｐ陀扇齻€(gè)數(shù)字特征期望、熵和超熵來(lái)表示，因而可以通過(guò)比較評(píng)價(jià)云與標(biāo)準(zhǔn)云的三個(gè)數(shù)字特征，來(lái)判斷云的相似程度，一種比較通用的比較方法就是采用帶權(quán)重的歐式距離方法[34]來(lái)比較，具體介紹如下：

設(shè)評(píng)價(jià)云模型為（Ex， En， He），評(píng)價(jià)標(biāo)準(zhǔn)云模型有n個(gè)，第i個(gè)參數(shù)為（Ex0i， En0i， He0i），三個(gè)數(shù)字特征之間的權(quán)值為ws= （ws1， ws2， ws3）

1. 計(jì)算歐式距離

[Di=sqrt[ws1（Ex-Ex0i）2+ws2（En-En0i）2+ws3（He-Heoi）2]]

式中sqrt為開方；

2. 令[δi=1Di]

計(jì)算相似度

[Si=δii=1nδi×100%]；

3. 重復(fù)n次計(jì)算出評(píng)價(jià)云相對(duì)于每一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)云的相似度；

4. 當(dāng)取得max（Si）時(shí)，令評(píng)價(jià)等級(jí)g=i。

四、實(shí)例分析

為了直觀說(shuō)明本評(píng)價(jià)方法的應(yīng)用過(guò)程，舉例加以說(shuō)明和驗(yàn)證。

以某門網(wǎng)絡(luò)課程為例，課程中及結(jié)束后的一段時(shí)間內(nèi)，參加學(xué)習(xí)的學(xué)習(xí)者通過(guò)網(wǎng)絡(luò)，按照本文構(gòu)建的二級(jí)評(píng)價(jià)指標(biāo)和評(píng)價(jià)標(biāo)準(zhǔn)云對(duì)授課教師的授課質(zhì)量進(jìn)行打分。經(jīng)過(guò)數(shù)據(jù)處理后（剔除3σ以外的極端值以及聽課學(xué)時(shí)占總學(xué)時(shí)不足5%的學(xué)習(xí)者打分），得到有效分?jǐn)?shù)446個(gè)，具體打分限于篇幅不予列出。首先把這些數(shù)據(jù)輸入逆向云發(fā)生器得到每個(gè)指標(biāo)的評(píng)價(jià)云，然后通過(guò)第三節(jié)中介紹的綜合評(píng)價(jià)方法，得到一級(jí)評(píng)價(jià)指標(biāo)和目標(biāo)層的評(píng)價(jià)云模型，最后按照歐式距離方法確定每一級(jí)各指標(biāo)所對(duì)應(yīng)的評(píng)價(jià)等級(jí)，并給出評(píng)語(yǔ)。計(jì)算所得各指標(biāo)評(píng)價(jià)云模型、相似度、評(píng)價(jià)等級(jí)和評(píng)語(yǔ)結(jié)果如表6所示。

從表6可得，該教師該門課程的評(píng)價(jià)為良，同時(shí)還可得出各一級(jí)、二級(jí)指標(biāo)所對(duì)應(yīng)的等級(jí)和評(píng)語(yǔ)。

為論證本方法的可行性和實(shí)用性，加快從理論到實(shí)用的轉(zhuǎn)變，開發(fā)了基于Web的云模型網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)系統(tǒng)，該系統(tǒng)可實(shí)現(xiàn)學(xué)習(xí)者在線評(píng)分、數(shù)據(jù)剔除篩選、數(shù)據(jù)計(jì)算分析和評(píng)價(jià)結(jié)果顯示等功能。本系統(tǒng)可作為相對(duì)獨(dú)立的模塊，添加到網(wǎng)站上，實(shí)現(xiàn)網(wǎng)絡(luò)課程授課質(zhì)量評(píng)價(jià)工作。圖3是評(píng)價(jià)結(jié)果頁(yè)面目標(biāo)層的評(píng)價(jià)結(jié)果，評(píng)價(jià)結(jié)果曲線為粉色散點(diǎn)，評(píng)價(jià)云的數(shù)字特征顯示于圖像上方，評(píng)價(jià)等級(jí)為良，點(diǎn)擊其它圖像或“上一組”、“下一組”按鈕可以方便地查看其它指標(biāo)的評(píng)價(jià)結(jié)果。

圖3 評(píng)價(jià)結(jié)果頁(yè)面局部截圖

表7 模糊綜合評(píng)價(jià)法評(píng)價(jià)結(jié)果

[指標(biāo)＼&評(píng)價(jià)結(jié)果集合＼&等級(jí)＼&U11＼&（0， 0， 0.576， 0.063）＼&3＼&U12＼&（0， 0， 0.480）＼&3＼&U13＼&（0， 0， 0.174， 0.182）＼&4＼&U1＼&（0， 0，0， 0.615， 0.075）＼&4＼&U21＼&（0， 0， 0.628）＼&3＼&U22＼&（0， 0， 0.403）＼&3＼&U23＼&（0， 0.002， 0.871， 0.028）＼&3＼&U24＼&（0.001， 0.092， 0.100）＼&3＼&U25＼&（0， 0.001， 0.807， 0.034）＼&3＼&U2＼&（0， 0， 0， 0.5234， 0.10）＼&4＼&U31＼&（0， 0.231， 0.003）＼&2＼&U32＼&（0.004， 0.742， 0.026）＼&2＼&U33＼&（0， 0， 0， 0.182， 0.178）＼&4＼&U3＼&（0， 0， 0.150，0.460，0.057）＼&4＼&U41＼&（0， 0， 0， 0.970， 0.018）＼&4＼&U42＼&（0， 0.028， 0.950， 0.006）＼&3＼&U43＼&（0， 0.340， 0.301， 0）＼&2＼&U4＼&（0， 0.004， 0.322， 0.541， 0.010）＼&4＼&U＼&（0， 0.001， 0.114， 0.528， 0.062）＼&4＼&]

此外，為進(jìn)行對(duì)比分析，還采用模糊綜合評(píng)價(jià)法就本例進(jìn)行了評(píng)價(jià)。在評(píng)價(jià)中評(píng)價(jià)指標(biāo)集合，評(píng)語(yǔ)等級(jí)集合與云模型方法相同，輸入采用學(xué)習(xí)者對(duì)各項(xiàng)指標(biāo)有效打分的平均值。由于云模型選用了正態(tài)云，相對(duì)應(yīng)的模糊綜合評(píng)價(jià)法隸屬度函數(shù)選取高斯型隸屬度函數(shù)，如下式所示：

[f（x）=exp-（x-c）22σ2]

式中c的取值與云模型對(duì)應(yīng)等級(jí)的期望相同，σ取值與對(duì)應(yīng)熵相同。

各指標(biāo)權(quán)重采用表5中層次分析法所得權(quán)重，依據(jù)文獻(xiàn)[35]的結(jié)論選擇取乘與有界合成算子，利用該算子逐級(jí)評(píng)價(jià)，直到目標(biāo)層，并用最大隸屬度原則確定評(píng)價(jià)結(jié)果所屬等級(jí)，計(jì)算結(jié)果如表7所示。

對(duì)比表6和表7可以得出：就本例，從評(píng)價(jià)結(jié)果來(lái)看，云模型評(píng)價(jià)方法與模糊綜合評(píng)價(jià)方法基本相同，但云模型方法與模糊綜合評(píng)價(jià)法相比存在以下兩個(gè)優(yōu)勢(shì)：

其一，對(duì)于模糊綜合評(píng)價(jià)法來(lái)說(shuō)，當(dāng)打分值靠近兩個(gè)隸屬度函數(shù)曲線的相交點(diǎn)時(shí)，會(huì)導(dǎo)致隸屬度矩陣有2個(gè)較為接近的值，進(jìn)而造成所屬等級(jí)判斷困難，在極端情況下，若2個(gè)值相同，導(dǎo)致無(wú)法判斷所屬等級(jí)。對(duì)本例，指標(biāo)U13評(píng)價(jià)結(jié)果（0， 0， 0.174， 0.182）和指標(biāo)U24評(píng)價(jià)結(jié)果（0.001， 0.092， 0.100）就屬于該情況，U13、U24隸屬于等級(jí)3的隸屬度和隸屬于等級(jí)2的隸屬度相差并不是很大，若以明確的界限確定所屬等級(jí)則無(wú)法全面反映評(píng)價(jià)真實(shí)情況，而云模型方法可以通過(guò)超熵來(lái)反映隸屬度上的不確定性，且其在界定評(píng)價(jià)等級(jí)上不需要明確的界限，從而避免了模糊綜合評(píng)價(jià)法所遇到的難題。

其二，模糊綜合評(píng)價(jià)方法所得結(jié)果無(wú)法體現(xiàn)評(píng)價(jià)中的隨機(jī)性，而且為了方便結(jié)果的比較，往往將最終的評(píng)價(jià)結(jié)果簡(jiǎn)化為一個(gè)數(shù)值，這樣處理也無(wú)法體現(xiàn)出評(píng)價(jià)對(duì)象內(nèi)在的模糊特性；而云模型方法的評(píng)價(jià)結(jié)果很直觀地體現(xiàn)了評(píng)價(jià)對(duì)象的模糊性和隨機(jī)性，能夠提供更多的參考信息，本文所得這一觀點(diǎn)與文獻(xiàn)[36]也是一致的。

五、結(jié)束語(yǔ)

本文研究了基于云模型的網(wǎng)絡(luò)課程教師授課質(zhì)量評(píng)價(jià)方法，首先通過(guò)德爾菲法構(gòu)建了評(píng)價(jià)指標(biāo)體系，接著采用基于黃金分割的模型驅(qū)動(dòng)法確定了評(píng)價(jià)標(biāo)準(zhǔn)云模型，然后闡述了綜合評(píng)價(jià)方法和基于歐式距離的評(píng)價(jià)等級(jí)確定方法，最后舉例說(shuō)明本方法的應(yīng)用過(guò)程和可行性。

本研究兼具理論價(jià)值和實(shí)踐價(jià)值。其理論價(jià)值表現(xiàn)在：一是采用云模型研究了網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)問題，豐富了評(píng)價(jià)方法，對(duì)其它評(píng)價(jià)研究有一定的借鑒意義；二是通過(guò)開發(fā)基于云模型的網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)系統(tǒng)及其應(yīng)用證明了云模型在網(wǎng)絡(luò)教育授課質(zhì)量評(píng)價(jià)中的可行性與實(shí)用性。其實(shí)踐價(jià)值在于所開發(fā)的評(píng)價(jià)系統(tǒng)，易于網(wǎng)絡(luò)應(yīng)用，能使學(xué)習(xí)者通過(guò)網(wǎng)絡(luò)高效便捷地對(duì)授課質(zhì)量進(jìn)行評(píng)價(jià)，有望改變目前網(wǎng)校授課質(zhì)量評(píng)價(jià)單一簡(jiǎn)單的現(xiàn)狀，研究成果有助于網(wǎng)絡(luò)教育機(jī)構(gòu)考核評(píng)價(jià)教師，有利于教師授課質(zhì)量的提高，還可為學(xué)習(xí)者選課提供一定的依據(jù)。

本文的不足之處在于有三。一是構(gòu)建的評(píng)價(jià)指標(biāo)體系僅適用于沒有實(shí)驗(yàn)、實(shí)操、實(shí)習(xí)等環(huán)節(jié)的標(biāo)準(zhǔn)課程，對(duì)于這些課程可單獨(dú)構(gòu)建評(píng)價(jià)指標(biāo)體系。二是開發(fā)的基于Web的德爾菲法評(píng)價(jià)指標(biāo)確定系統(tǒng)和基于Web的云模型網(wǎng)絡(luò)教育教師授課質(zhì)量評(píng)價(jià)系統(tǒng)到目前仍處于算法原理驗(yàn)證及小規(guī)模測(cè)試階段，距實(shí)際規(guī)?；瘧?yīng)用還有一段距離。三是在權(quán)重確定以及評(píng)價(jià)結(jié)果的比較中均僅就本例而言，所得結(jié)論是否適用其它案例，還有待進(jìn)一步大量數(shù)據(jù)的實(shí)證研究或嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明。

[參考文獻(xiàn)]

[1] 張寧蓉，嚴(yán)立，陳亦望. 網(wǎng)絡(luò)教學(xué)質(zhì)量的模糊綜合評(píng)價(jià)[J]. 計(jì)算機(jī)教育，2007，（4）：37-40.

[2] 蔡怡. 遠(yuǎn)程高等教育教學(xué)質(zhì)量評(píng)價(jià)方法探析[J]. 中國(guó)遠(yuǎn)程教育，（214）：17-20.

[3] 李葆萍. 網(wǎng)絡(luò)教育評(píng)價(jià)系統(tǒng)及其設(shè)計(jì)[J]. 中國(guó)遠(yuǎn)程教育，2001，（9）：46-48.

[4] 陶勇，李軍義，楊貫中，尹新，楊健康. 網(wǎng)絡(luò)教育教學(xué)評(píng)價(jià)模型與實(shí)現(xiàn)[J]. 教育信息化，2003，（3）：69-71.

[5] 柳瓊?cè)A，羅 霄. 試論網(wǎng)絡(luò)教育質(zhì)量評(píng)價(jià)系統(tǒng)的設(shè)計(jì)——以西南交通大學(xué)網(wǎng)絡(luò)教育教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)為例[J]. 福建商業(yè)高等專科學(xué)校學(xué)報(bào)，2007，（4）：75-78.

[6] 任穎. 中外現(xiàn)代遠(yuǎn)程教育教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)比較[J]. 寧波廣播電視大學(xué)學(xué)報(bào)，2005，3（3）：44-47.

[7] 童小平，馮燕. 網(wǎng)絡(luò)教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系研究[J]. 中國(guó)高新技術(shù)企業(yè)，2008，（18）：185-186.

[8] 任穎. 現(xiàn)代遠(yuǎn)程教育教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系研究——基于N廣播電視大學(xué)的個(gè)案[D]. 上海：華東師范大學(xué)，2005.

[9] 任穎. 網(wǎng)絡(luò)教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)探析[J]. 職業(yè)技術(shù)教育（教學(xué)版），2006，27（23）：74-77.

[10] 黃宇. 現(xiàn)代遠(yuǎn)程高等教育教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系研究[D]. 長(zhǎng)沙：湖南大學(xué)，2006.

[11] 董莉. 網(wǎng)絡(luò)教育模糊評(píng)價(jià)方法的探討[J]. 交通科技與經(jīng)濟(jì)，2006，（3）：125-126.

[12] 郭協(xié)潮. 基于網(wǎng)絡(luò)教學(xué)的教學(xué)質(zhì)量評(píng)價(jià)模型研究[J]. 中國(guó)醫(yī)學(xué)教育技術(shù)，2012，26（3）：283-286.

[13] 李虞斌. 計(jì)算機(jī)網(wǎng)絡(luò)教學(xué)質(zhì)量評(píng)價(jià)體系模型的建立[J]. 科技廣場(chǎng)，2007，（2）：124-125.

[14] 基于模糊評(píng)判方法的遠(yuǎn)程教育學(xué)習(xí)評(píng)價(jià)[C]. International Conference on Management Science and Engineering，2010.

[15] 任 穎，裘偉廷. 基于Internet 技術(shù)的現(xiàn)代遠(yuǎn)程教育教師教學(xué)質(zhì)量評(píng)價(jià)研究[A]. 2005年成人教育協(xié)會(huì)年會(huì)暨和諧社會(huì)與成人教育論壇論文集[C]. 2005.

[16] 李德毅，劉常昱，杜鹢，韓旭. 不確定性人工智能[J]. 軟件學(xué)報(bào)，2004，15（11）：1584-1595.

[17] 李德毅. 知識(shí)表示中的不確定性[J]. 中國(guó)工程科學(xué)，2000，12（110）：73-79.

[18] 殷筱琴. 模糊綜合評(píng)價(jià)法在企業(yè)績(jī)效評(píng)價(jià)中的應(yīng)用研究[D]. 南京：河海大學(xué)，2005.

[19] 劉常昱，李德毅，潘莉莉. 基于云模型的不確定性知識(shí)表示[J]. 計(jì)算機(jī)工程與應(yīng)用，2004，（2）：32-35.

[20] 胡石元，李德仁，劉耀林，李德毅. 基于云模型和關(guān)聯(lián)度分析法的土地評(píng)價(jià)因素權(quán)重挖掘[J]. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2006，31（5）：421-427.

[21] 李德毅等. 不確定性人工智能[M]. 北京：國(guó)防工業(yè)出版社，2005.

[22] 李德毅，劉常昱. 論正態(tài)云模型的普適性[J]. 中國(guó)工程科學(xué)，2004，6（8）：28-34.

[23] 李銀霞，袁修干. 改進(jìn)德爾菲法在駕駛艙顯示系統(tǒng)工效學(xué)評(píng)價(jià)指標(biāo)篩選中的應(yīng)用研究[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程，2006，19（5）：368-372.

[24] 劉學(xué)毅. 德爾菲法在交叉學(xué)科研究評(píng)價(jià)中的運(yùn)用[J]. 西南交通大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2007，8（2）：21-25.

[25] 譚志敏，郭亮. 頭腦風(fēng)暴法在教學(xué)中的運(yùn)用及其注意要點(diǎn)[J]. 繼續(xù)教育研究，2007，（5）：142-144.

[26] 龔純，王正林. 精通MATLAB最優(yōu)化計(jì)算[M]. 北京：電子工業(yè)出版社，2009.

[27] 蘇捷斯. 基于德爾菲法的國(guó)際金融中心評(píng)價(jià)指標(biāo)體系構(gòu)建[J]. 科技管理研究，2010，（12）：60-62.

[28] 王小潔. 基于云模型的我國(guó)石油海洋運(yùn)輸安全評(píng)價(jià)研究[D]. 山東：中國(guó)海洋大學(xué)，2005.

[29] 王健等. 一種改進(jìn)的基于云模型的效能評(píng)估方法[J]. 火力與指揮控制，2010，35（7）：139-142.

[30] 朱茵，孟志勇，闞叔愚. 用層次分析法計(jì)算權(quán)重[J]. 北方交通大學(xué)學(xué)報(bào)，1999，23（5）：119-122.

[31] 常建娥，蔣太立. 層次分析法確定權(quán)重的研究[J]. 武漢理工大學(xué)學(xué)報(bào)（信息與管理工程版），2007，29（1）：153-156.

[32] 楊永清. 層次分析法中判斷矩陣不一致性調(diào)整方法研究[J]. 運(yùn)籌與管理，1999，8（3）：12-16.

[33] 李丹. 基于云模型的多屬性決策系統(tǒng)研究[D]. 黑龍江：黑龍江科技學(xué)院，2010.

[34] 張杰. 基于云模型的網(wǎng)絡(luò)課程評(píng)價(jià)軟件的設(shè)計(jì)與實(shí)現(xiàn)[D]. 內(nèi)蒙古：內(nèi)蒙古師范大學(xué)，2011.

[35] 郭齊勝等. 裝備效能評(píng)估概論[M]. 北京：國(guó)防工業(yè)出版社，2005.

[36] 柳順. 基于數(shù)據(jù)包絡(luò)分析的模糊綜合評(píng)價(jià)方法及其應(yīng)用[D]. 杭州：浙江大學(xué)，2010.

收稿日期： 2013-06-15

作者簡(jiǎn)介：李辰穎，博士，講師；張巖，博士，副教授。北京林業(yè)大學(xué) （100083）。