【摘 要】
針對高校網(wǎng)絡(luò)增強(qiáng)型課程的評價(jià),可采用層次分析法來建立評價(jià)指標(biāo)體系。本研究通過研究網(wǎng)絡(luò)課程評價(jià)指標(biāo),建立指標(biāo)層次模型,同時(shí)充分采納評價(jià)主體對評價(jià)指標(biāo)的兩兩重要性比較的定量描述,構(gòu)造判斷矩陣,依據(jù)判斷矩陣結(jié)果計(jì)算出指標(biāo)的權(quán)重賦值。北京建筑工程學(xué)院實(shí)踐表明,基于層次分析法的網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系客觀、科學(xué)、操作性強(qiáng)。
【關(guān)鍵詞】 層次分析法;網(wǎng)絡(luò)增強(qiáng)型課程;指標(biāo)體系
【中圖分類號】 TP39 【文獻(xiàn)標(biāo)識碼】 A 【文章編號】 1009—458x(2012)10—0025—07
引 言
鑒于我國高校學(xué)生人數(shù)迅速增長及可利用教育資源的相對有限,教育部于2003年全面啟動了教學(xué)模式改革,旨在推動基于計(jì)算機(jī)和網(wǎng)絡(luò)的個(gè)性化教學(xué)模式發(fā)展[1]。與網(wǎng)絡(luò)教育學(xué)院不同,大多數(shù)高校的網(wǎng)絡(luò)課程是網(wǎng)絡(luò)增強(qiáng)型課程,即教師仍然組織正常的課堂教學(xué),而利用網(wǎng)絡(luò)作為促進(jìn)性工具,通過所設(shè)計(jì)的網(wǎng)絡(luò)課程資源以及網(wǎng)絡(luò)工具等來完成部分學(xué)習(xí)任務(wù),增強(qiáng)課程的學(xué)習(xí)效果[2]。網(wǎng)絡(luò)增強(qiáng)型課程是傳統(tǒng)課堂教學(xué)的補(bǔ)充和延伸,是將傳統(tǒng)的課堂教學(xué)、網(wǎng)絡(luò)資源、網(wǎng)絡(luò)交流、網(wǎng)絡(luò)發(fā)表、學(xué)生信息管理等結(jié)合起來的整體解決方案[3]。
網(wǎng)絡(luò)課程是網(wǎng)絡(luò)教育的基本載體,網(wǎng)絡(luò)課程質(zhì)量是決定網(wǎng)絡(luò)教育質(zhì)量的一個(gè)關(guān)鍵要素,如何對網(wǎng)絡(luò)課程進(jìn)行合理有效的評價(jià)是當(dāng)前網(wǎng)絡(luò)教育發(fā)展中的一個(gè)研究重點(diǎn)。目前已有許多網(wǎng)絡(luò)課程評價(jià)標(biāo)準(zhǔn),如美國高等教育策略研究所《在線教育質(zhì)量:遠(yuǎn)程互聯(lián)網(wǎng)教育成功應(yīng)用的標(biāo)準(zhǔn)》、韓國國家開放大學(xué)的教育質(zhì)量保證的模型、英國開放和遠(yuǎn)程教育質(zhì)量委員會的《開放和遠(yuǎn)程學(xué)習(xí)中的標(biāo)準(zhǔn)》、Training Foundation的《e-learning專業(yè)能力框架》以及我國教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會發(fā)布的《網(wǎng)絡(luò)課程評價(jià)規(guī)范(標(biāo)準(zhǔn)草案征求意見稿)》、教育部高教司的項(xiàng)目研究成果《網(wǎng)絡(luò)課程課件評測(認(rèn)證)標(biāo)準(zhǔn)》[4]等等。這些評價(jià)指標(biāo)中基本上包含了教學(xué)設(shè)計(jì)、教學(xué)內(nèi)容、技術(shù)性和界面設(shè)計(jì)等幾個(gè)一級指標(biāo)和三十多個(gè)二級指標(biāo),多是從定性層面進(jìn)行闡述,主觀性較強(qiáng),并且沒有專門針對網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系的研究。網(wǎng)絡(luò)增強(qiáng)型課程有其自身的特殊性,如大多數(shù)高校的網(wǎng)絡(luò)增強(qiáng)型課程都是依托于學(xué)校統(tǒng)一的網(wǎng)絡(luò)教學(xué)平臺開展,技術(shù)性和界面設(shè)計(jì)由教學(xué)平臺自身決定,不受使用者的控制,相關(guān)的指標(biāo)不適合用來評價(jià)課程的質(zhì)量。本研究提出基于層次分析法(Analytical Hierarchy Process,簡稱AHP)的網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系研究方法,通過評價(jià)指標(biāo)體系權(quán)重的量化研究,提高網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)的可操作性。
層次分析法及其步驟
1. 層次分析法概述
層次分析法是美國運(yùn)籌學(xué)家T. L. Saaty教授于20世紀(jì)70年代初期提出,將定性與定量研究相結(jié)合進(jìn)行分析的一種簡便、靈活而又實(shí)用的多準(zhǔn)則決策方法[5]。AHP法通過建立遞階層次結(jié)構(gòu),把人們的判斷轉(zhuǎn)化為若干因素兩兩之間重要度的比較。其原理是將所研究的問題按其性質(zhì),把各種選擇指標(biāo)、方案進(jìn)行分類,并劃分為若干層次,使問題轉(zhuǎn)化為各指標(biāo)方案相對優(yōu)劣的排序問題,通過構(gòu)造判斷矩陣,計(jì)算出某一層次因子相對于上一層次各個(gè)因素IAXtZ9dBYhLfPpyU7cvfdu0gjLzayZOHWQmMNgKeNAk=的單排序結(jié)構(gòu)和相對于上一層次的總排序權(quán)重[6]。運(yùn)用AHP方法可以對評價(jià)指標(biāo)賦予不同的權(quán)值,從而據(jù)此確定評價(jià)內(nèi)容的重要程度,使建立的指標(biāo)體系有據(jù)可查,增加評價(jià)結(jié)果的可信度[7]。
2. 層次分析法的基本步驟
層次分析法大致可以分為四個(gè)步驟[8]:
(1)建立層次結(jié)構(gòu)模型:當(dāng)應(yīng)用層次分析法時(shí),首先要在深入分析解決問題所要達(dá)到的目標(biāo)及其屬性后,把問題條理化、層次化,構(gòu)造出一個(gè)有層次的結(jié)構(gòu)模型。層次模型可以分為:最高層(目標(biāo)層)、中間層(準(zhǔn)則層)和最底層(方案層或者對象層)。
(2)構(gòu)造兩兩比較判斷矩陣:在建立層次模型后,設(shè)計(jì)專家調(diào)查問卷,每個(gè)參與構(gòu)造權(quán)集人員都分別對指標(biāo)體系的每一層中相關(guān)的指標(biāo)項(xiàng)進(jìn)行兩兩比較,比較其相對重要程度,一般用數(shù)字1-9及其倒數(shù)的標(biāo)度方法,給出用數(shù)值表示的判斷結(jié)果,寫成矩陣形式,即為判斷矩陣。
?。?)層次單排序及其一致性檢驗(yàn):得到判斷矩陣后,求出判斷矩陣的最大特征根λmax及對應(yīng)的歸一化特征向量W,它們滿足關(guān)系式BW=λmaxW。其中W的分量Wi(i=1,2,……n)就是第i個(gè)元素Bi的單排序值。對于每個(gè)參評人員的判斷矩陣分別算出的指標(biāo)優(yōu)先權(quán)重進(jìn)行層次單排序一致性檢驗(yàn),計(jì)算公式為:CI=
(4)層次總排序及其一致性檢驗(yàn):計(jì)算同一層次所有因素對于高層次(總目標(biāo))相對重要性的排序,稱為層次總排序。這一過程是最高層次到最低層次逐層進(jìn)行的。在層次總排序完成后,也要做一致性檢驗(yàn)。這一步驟也是從高到低逐層進(jìn)行的。
此外在實(shí)踐中應(yīng)用層次分析法時(shí),常常需要請多名專家對評價(jià)指標(biāo)或者評價(jià)對象打分。設(shè)參加確定權(quán)重的人員數(shù)為N,則應(yīng)當(dāng)有N個(gè)判斷矩陣,用經(jīng)過一致性檢驗(yàn)的N個(gè)判斷矩陣建立一個(gè)新的判斷矩陣。新的矩陣中各元素值計(jì)算公式為:bij=
上式中b1ij b2ij … bnij分別代表各個(gè)判斷矩陣中處于相同位置的元素值。然后用新的判斷矩陣計(jì)算各指標(biāo)優(yōu)先權(quán)重Wi 。
網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系構(gòu)建
1. 評價(jià)指標(biāo)
筆者以北京建筑工程學(xué)院使用的清華教育在線平臺為例,結(jié)合網(wǎng)絡(luò)教學(xué)平臺的功能模塊,重點(diǎn)評價(jià)教學(xué)設(shè)計(jì)和教學(xué)內(nèi)容,確定了網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)的8個(gè)維度、16個(gè)指標(biāo)項(xiàng),如表1所示。
2. 層次結(jié)構(gòu)模型的建立
根據(jù)評價(jià)指標(biāo),便可以建立網(wǎng)絡(luò)增強(qiáng)型課程指標(biāo)評價(jià)體系的層次結(jié)構(gòu)模型,如圖1所示。整個(gè)層次模型可分為三層:目標(biāo)層A,準(zhǔn)則層B,指標(biāo)層C。目標(biāo)層構(gòu)建的是網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系,準(zhǔn)則層包括體系構(gòu)建的8個(gè)維度,指標(biāo)層包括體系構(gòu)建須考慮的16項(xiàng)指標(biāo)。
3. 指標(biāo)權(quán)重的計(jì)算
對于上面給出的網(wǎng)絡(luò)課程評價(jià)層次模型,使用層次分析法來確定權(quán)重。首先根據(jù)評價(jià)指標(biāo)設(shè)計(jì)專家調(diào)查問卷,構(gòu)成兩兩比較矩陣形式。針對網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系,我們分別構(gòu)建了一級指標(biāo)的判斷矩陣1個(gè),二級指標(biāo)的判斷矩陣5個(gè)。向參加過網(wǎng)絡(luò)課程評審的評委(14人)、參與網(wǎng)絡(luò)學(xué)堂課程建設(shè)的一線教師(20人)、清華大學(xué)網(wǎng)絡(luò)學(xué)堂設(shè)計(jì)開發(fā)者(8人)和北京師范大學(xué)教育技術(shù)專家(8人)四類群體發(fā)放調(diào)查問卷50份,回收問卷50份,回收率為100%。
其次,按照層次分析法的基本步驟構(gòu)造兩兩比較判斷矩陣,進(jìn)行層次單排序和一致性檢驗(yàn),形成每一位專家對于網(wǎng)絡(luò)增強(qiáng)型課程各個(gè)評價(jià)指標(biāo)的判斷矩陣、權(quán)重向量和一致性檢驗(yàn)結(jié)果。在一致性檢驗(yàn)過程中,據(jù)清華大學(xué)網(wǎng)絡(luò)學(xué)堂設(shè)計(jì)開發(fā)者和北京師范大學(xué)教育技術(shù)專家打分結(jié)果所獲得的判斷矩陣,經(jīng)過較少的幾次兩兩比較取值進(jìn)行修正,基本上都通過了一致性檢驗(yàn),有效數(shù)據(jù)為16份。而網(wǎng)絡(luò)課程評審的評委和參與網(wǎng)絡(luò)學(xué)堂課程建設(shè)的一線教師所獲得判斷矩陣大部分沒有通過一致性檢驗(yàn),在剔除了一致性差別太大的數(shù)據(jù)結(jié)果后,研究者對其余數(shù)據(jù)進(jìn)行了幾輪兩兩比較取值進(jìn)行修正,選取了16份有效數(shù)據(jù)。最終構(gòu)造了32份判斷矩陣,表2為根據(jù)某位專家打分結(jié)果所形成的A-Bi判斷矩陣。
接下來,針對本研究中的32個(gè)矩陣,使每個(gè)單獨(dú)的矩陣都通過了一致性檢驗(yàn),按照公式bij=
4. 評價(jià)指標(biāo)體系的構(gòu)建
在上述指標(biāo)體系的權(quán)重確定后,再采用德爾菲(Delphi)法向?qū)<艺髑笠庖姡源_定評價(jià)指標(biāo)體系中各個(gè)指標(biāo)項(xiàng)的屬性,即是必選指標(biāo)項(xiàng)、可選項(xiàng)還是鼓勵指標(biāo)項(xiàng),網(wǎng)絡(luò)課程的總體分?jǐn)?shù),以及合格課程和優(yōu)秀課程應(yīng)達(dá)到的分?jǐn)?shù)要求。在征求多位專家意見后,北京建筑工程學(xué)院網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系規(guī)定有11個(gè)必選項(xiàng),以“M”標(biāo)識,參加評審的網(wǎng)絡(luò)課程必須達(dá)到指標(biāo)規(guī)定的內(nèi)容,才能合格。本指標(biāo)體系有4個(gè)可選項(xiàng),以“O”標(biāo)識,鼓勵網(wǎng)絡(luò)課程達(dá)到這些選項(xiàng)的要求,必選項(xiàng)和可選項(xiàng)總分值為100分,其中必選項(xiàng)占75分,可選項(xiàng)占25分。本指標(biāo)體系有一個(gè)鼓勵項(xiàng),以“E”標(biāo)識,所占分值為20分。對合格課程沒有總分要求,評為優(yōu)秀的課程總分應(yīng)不少于90分。每個(gè)指標(biāo)項(xiàng)分值計(jì)算公式為:Pi=P總×Wi,其中課程總分為120分,Wi為各個(gè)指標(biāo)項(xiàng)的權(quán)重,最終的指標(biāo)體系如表10所示,其中指標(biāo)的具體含義略。
結(jié) 語
本研究提出了AHP法在網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)中的應(yīng)用辦法,并以北京建筑工程學(xué)院為例構(gòu)建了網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系,本指標(biāo)體系被山東交通學(xué)院等多所高校借鑒使用,并5次在北京建筑工程學(xué)院的網(wǎng)絡(luò)課程評價(jià)中具體實(shí)施,通過實(shí)際應(yīng)用,我們可以得出以下結(jié)論:
第一,北京建筑工程學(xué)院網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系是在層次分析法指導(dǎo)下,通過定性與定量相結(jié)合的方法得出,既合理利用了專家的經(jīng)驗(yàn)、洞察力和直覺,又克服了專家主觀性的影響,各個(gè)指標(biāo)項(xiàng)的權(quán)重科學(xué)、合理。指標(biāo)體系規(guī)定了各個(gè)指標(biāo)項(xiàng)為必選項(xiàng)、可選項(xiàng)還是鼓勵項(xiàng),規(guī)定合格課程和優(yōu)秀課程應(yīng)達(dá)到的分?jǐn)?shù)要求,可操作性強(qiáng),根據(jù)此評價(jià)體系可以簡單、快捷、直接地對網(wǎng)絡(luò)增強(qiáng)型課程做出評價(jià)。
第二,在具體的實(shí)施過程中,可以根據(jù)實(shí)際需要對指標(biāo)體系的必選項(xiàng)、可選項(xiàng)、鼓勵項(xiàng)和權(quán)重做出適當(dāng)調(diào)整。北京建筑工程學(xué)院指標(biāo)體系主要用于網(wǎng)絡(luò)課程啟動階段,目的是鼓勵教師使用網(wǎng)絡(luò)教學(xué)平臺開展教學(xué)研究,并熟悉教學(xué)平臺的所有模塊。因此指標(biāo)體系設(shè)置稍難,必選項(xiàng)要求嚴(yán)格,并且教學(xué)交互和教學(xué)策略方面權(quán)重較大。本文重點(diǎn)在于介紹了網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)權(quán)重的求取過程,在方法上探討了網(wǎng)絡(luò)增強(qiáng)型課程教學(xué)評價(jià)指標(biāo)體系的建立過程,為網(wǎng)絡(luò)增強(qiáng)型課程的評價(jià)提供參考和案例。由于專家樣本的選取范圍有限,勢必造成研究結(jié)果信度有些低,通過增大調(diào)查專家的范圍和數(shù)量,將能夠控制本研究的精確性。
第三,建立層次結(jié)構(gòu)模型是層次分析法的第一步,也是構(gòu)造判斷矩陣的基礎(chǔ),而構(gòu)造判斷矩陣是層次分析法的重點(diǎn)和特色,因此要求研究者一定要清晰地將研究問題層次化,從而正確建立層次結(jié)構(gòu)模型,以便于在此基礎(chǔ)上科學(xué)地構(gòu)造出判斷矩陣。在專家的選取方面,要考慮到專家對于評價(jià)指標(biāo)和研究方法的理解。在多次修正通過一致性檢驗(yàn)的過程中,注意避免研究者自身的傾向性對專家判斷的影響。
[參考文獻(xiàn)]
[1][5] 高霄,劉保春. 基于層次分析法的網(wǎng)絡(luò)課堂教學(xué)質(zhì)量評價(jià)體系結(jié)構(gòu)[J]. 天津外國語學(xué)院學(xué)報(bào),2009,16,(6):73-78.
[2] 張建偉,盧達(dá)溶. 關(guān)于網(wǎng)絡(luò)協(xié)作探究學(xué)習(xí)及其影響因素的實(shí)證研究[J]. 電化教育研究,2002,(8):38-43.
[3] 王靖,劉志文. 網(wǎng)絡(luò)增強(qiáng)型課程的設(shè)計(jì)[J]. 軟件導(dǎo)刊,2006,(2):34-35.
[4][6] 邢紅宇. 基于AHP法和Delphi法的網(wǎng)絡(luò)課程評價(jià)體系設(shè)計(jì)研究[J]. 中國電化教育研究,2006,(9):78-81.
[7] 孫玉榮,彭金波. 基于AHP的課程教學(xué)效果評價(jià)指標(biāo)體系研究[J].湖南工業(yè)大學(xué)學(xué)報(bào),2010,24(5):86-88.
[8] 陳敬全. 科研評價(jià)方法與實(shí)證研究[D]. 武漢大學(xué)博士論文,2004:77-83.
收稿日期: 2012-06-15
作者簡介:王雅杰,碩士,高級實(shí)驗(yàn)師,北京建筑工程學(xué)院計(jì) 算機(jī)教學(xué)與網(wǎng)絡(luò)信息部(100044