杜華 楊曉宏

【摘 要】 移動(dòng)學(xué)習(xí)工具，尤其是移動(dòng)學(xué)習(xí)APP的設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用受到越來(lái)越多的關(guān)注。然而，針對(duì)移動(dòng)學(xué)習(xí)工具的評(píng)價(jià)卻需要進(jìn)一步研究。近年來(lái)，場(chǎng)館APP作為移動(dòng)學(xué)習(xí)工具的重要組成部分引起關(guān)注，針對(duì)這些場(chǎng)館APP開(kāi)展評(píng)價(jià)研究，旨在為改善和優(yōu)化場(chǎng)館APP提供數(shù)據(jù)和建議，有助于提高學(xué)習(xí)者的滿意度，從而更好地發(fā)揮場(chǎng)館的社會(huì)教育職能。本研究使用專(zhuān)家征詢法，構(gòu)建了包括技術(shù)、界面、內(nèi)容、功能和用戶體驗(yàn)5個(gè)一級(jí)指標(biāo)、基礎(chǔ)性能等16個(gè)二級(jí)指標(biāo)、穩(wěn)定性等46個(gè)三級(jí)指標(biāo)的場(chǎng)館APP評(píng)價(jià)指標(biāo)體系，并以團(tuán)隊(duì)開(kāi)發(fā)的某科技館APP為個(gè)案，對(duì)評(píng)價(jià)指標(biāo)體系進(jìn)行了應(yīng)用研究。研究表明，該指標(biāo)體系是可行的，對(duì)場(chǎng)館APP的設(shè)計(jì)、開(kāi)發(fā)和評(píng)價(jià)等具有重要的理論和現(xiàn)實(shí)意義，對(duì)于移動(dòng)學(xué)習(xí)工具評(píng)價(jià)指標(biāo)體系的研究進(jìn)行了有益嘗試。

【關(guān)鍵詞】 場(chǎng)館；移動(dòng)終端；APP；教育功能；評(píng)價(jià)；指標(biāo)體系；層級(jí)；專(zhuān)家征詢法

【中圖分類(lèi)號(hào)】 G420 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009-458x（2018）8-0063-07

隨著智能手機(jī)和移動(dòng)通信技術(shù)的飛速發(fā)展，移動(dòng)學(xué)習(xí)工具，特別是移動(dòng)學(xué)習(xí)APP的設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用受到越來(lái)越多的關(guān)注，但總體來(lái)看，在移動(dòng)學(xué)習(xí)APP的評(píng)價(jià)方面尚需要進(jìn)一步加強(qiáng)研究。近年來(lái)，場(chǎng)館APP作為一種以移動(dòng)終端為載體向社會(huì)公眾提供場(chǎng)館及展品公益性服務(wù)的方式，為學(xué)習(xí)者提供了精準(zhǔn)的個(gè)性化場(chǎng)館移動(dòng)學(xué)習(xí)資源，其設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用也受到越來(lái)越多的青睞。對(duì)這些場(chǎng)館APP開(kāi)展評(píng)價(jià)研究，能夠?yàn)閳?chǎng)館APP的改善和優(yōu)化提供數(shù)據(jù)和建議，有助于提高學(xué)習(xí)者的滿意度和場(chǎng)館社會(huì)教育職能的發(fā)揮，對(duì)移動(dòng)學(xué)習(xí)工具評(píng)價(jià)指標(biāo)體系的研究也起到一定的啟發(fā)作用。

場(chǎng)館（Museum）一般是指各種與科學(xué)和歷史、藝術(shù)教育相關(guān)的公共機(jī)構(gòu)，既包括科技館和博物館等封閉場(chǎng)所，也包括動(dòng)物園和植物園等露天場(chǎng)所。自繆斯神廟（Mouseion）始，場(chǎng)館就承擔(dān)著重要的教育功能。2007年，國(guó)際博物館協(xié)會(huì)（ICOM）將場(chǎng)館界定為“為社會(huì)及其發(fā)展服務(wù)的非營(yíng)利永久機(jī)構(gòu)，并向大眾開(kāi)放。為教育、研究、欣賞之目的征集、保護(hù)、研究、傳播并展示人類(lèi)及其環(huán)境的物質(zhì)與非物質(zhì)文化遺產(chǎn)”（轉(zhuǎn)引自鄭奕， 2015， p. 1），將場(chǎng)館的教育功能提升至所有功能之首。各類(lèi)場(chǎng)館“以實(shí)物為基礎(chǔ)，通過(guò)對(duì)展品進(jìn)行科學(xué)研究，舉辦各種陳列展覽，讓學(xué)習(xí)者在站立和行走的交替運(yùn)動(dòng)中，依賴(lài)視覺(jué)、并輔以聽(tīng)覺(jué)、觸覺(jué)等其他感官共同作用，通過(guò)觀察、閱讀、聽(tīng)講或者觸摸及操作等活動(dòng)，以接受、加工和記憶信息的認(rèn)識(shí)過(guò)程”（余玉龍， 1998），在教育體系中發(fā)揮著越來(lái)越重要的作用。

一、場(chǎng)館APP及其教育屬性

隨著人類(lèi)社會(huì)的發(fā)展和科技的進(jìn)步，新興技術(shù)不斷涌現(xiàn)，信息化浪潮席卷全球，人們將信息技術(shù)應(yīng)用于場(chǎng)館，推進(jìn)信息化場(chǎng)館、數(shù)字化場(chǎng)館、移動(dòng)場(chǎng)館、智慧場(chǎng)館建設(shè)的進(jìn)程，探索的腳步從未停止過(guò)。John H. Falk和Lynn D. Dierking（2000）認(rèn)為，信息技術(shù)有助于挖掘場(chǎng)館作為學(xué)習(xí)資源和場(chǎng)所的潛力。一項(xiàng)場(chǎng)館對(duì)參觀者的吸引力調(diào)查研究表明，信息技術(shù)對(duì)參觀者的吸引力位列第四（38.1%），僅次于展品（76.1%）、信息（48.7%）和導(dǎo)覽（46%）。APP（Application的縮寫(xiě)）指在移動(dòng)智能終端上使用的應(yīng)用程序，場(chǎng)館APP是以移動(dòng)終端為載體向社會(huì)公眾提供場(chǎng)館及展品公益性服務(wù)的產(chǎn)品，是伴隨著移動(dòng)技術(shù)的快速發(fā)展與移動(dòng)終端的廣泛普及而出現(xiàn)的重要產(chǎn)品形態(tài)，其相關(guān)理論研究和實(shí)踐應(yīng)用也受到越來(lái)越多的關(guān)注。Michael Kenteris、Damianos Gavalas和Daphne Economou等（2011）將移動(dòng)參觀導(dǎo)覽分為兩大類(lèi)：重在可用性設(shè)計(jì)的場(chǎng)館APP和著眼于技術(shù)創(chuàng)新形式的APP。

從國(guó)際上看，場(chǎng)館APP的開(kāi)發(fā)大概始于2009年，美國(guó)布魯克林藝術(shù)博物館較早開(kāi)發(fā)了一款圖文形式介紹藏品信息的APP。2012年以后，更加注重用戶在各種環(huán)境中不同的需求體驗(yàn)以及與用戶之間的交流互動(dòng)。隨后，各大博物館紛紛開(kāi)發(fā)自己的APP，設(shè)計(jì)風(fēng)格多樣，展品信息豐富。比較有代表性的場(chǎng)館APP有：大英博物館的The British Museum、盧浮宮的Musée du Louvre、美國(guó)自然歷史博物館的Creatures of Light和Cosmic Discoveries等，以及紐約現(xiàn)代藝術(shù)博物館的MoMA和MoMA Art Lab等。自2011年以來(lái)國(guó)內(nèi)也開(kāi)發(fā)了一些比較有代表性的場(chǎng)館APP，如文博任我行APP、再現(xiàn)圓明園APP和蘇州博物館APP、河南博物院APP和每日故宮APP等。

設(shè)計(jì)良好的場(chǎng)館APP，延伸了場(chǎng)館的時(shí)間和空間，是用戶了解場(chǎng)館與展品內(nèi)容的移動(dòng)平臺(tái)，可以滿足人們對(duì)場(chǎng)館及其展品內(nèi)容的遠(yuǎn)程瀏覽和學(xué)習(xí)等需求，具有重要的教育屬性。它可以為學(xué)習(xí)者提供展品的數(shù)字化表征、場(chǎng)館內(nèi)的空間導(dǎo)覽、數(shù)字社會(huì)化分享以及游戲等多種功能。經(jīng)過(guò)精心設(shè)計(jì)的內(nèi)容、符合移動(dòng)情境的展品信息以及多樣化的服務(wù)，可以滿足學(xué)習(xí)者的個(gè)性化需求，促進(jìn)學(xué)習(xí)者的意義建構(gòu)。

二、場(chǎng)館APP評(píng)價(jià)的相關(guān)研究

場(chǎng)館APP的資源越來(lái)越豐富。但調(diào)研發(fā)現(xiàn)，很多場(chǎng)館APP的設(shè)計(jì)存在一些問(wèn)題，如功能定位不清晰，可用性差，用戶黏度低，同質(zhì)化嚴(yán)重，技術(shù)開(kāi)發(fā)參差不齊等，致使很多場(chǎng)館APP無(wú)人問(wèn)津，淪為擺設(shè)。究其原因是缺乏對(duì)場(chǎng)館APP的有效設(shè)計(jì)和評(píng)價(jià)。從文獻(xiàn)來(lái)看，關(guān)于場(chǎng)館APP的評(píng)價(jià)研究逐漸受到學(xué)者的關(guān)注，并形成了一定的研究成果。

Zhang Dongsong和Boonlit Adipat等（2005）認(rèn)為，移動(dòng)情境、連通性、屏幕尺寸、顯示分辨率、有限的處理能力、數(shù)據(jù)輸入方法等都會(huì)影響移動(dòng)APP的可用性。Areti Damala和 Hub Kockelkorn（2006）認(rèn)為可以從技術(shù)、信息和管理三個(gè)方面對(duì)場(chǎng)館APP進(jìn)行評(píng)價(jià)。

Ngu P. Huy和Do van Thanh等（2012）總結(jié)了APP的四種范式，從開(kāi)發(fā)者視角、用戶視角和服務(wù)提供者3個(gè)維度，構(gòu)建了包括18個(gè)指標(biāo)的評(píng)價(jià)體系，并以物體辨識(shí)APP為例進(jìn)行了應(yīng)用研究。其中，開(kāi)發(fā)者視角的指標(biāo)體系包括易開(kāi)發(fā)、易編碼、易調(diào)試、易測(cè)試、易配置和升級(jí)、易分配、APP類(lèi)型、應(yīng)用程序界面與庫(kù)、支付可能性等；用戶視角的指標(biāo)包括易用性、功能性、安裝與升級(jí)；服務(wù)提供者指標(biāo)包括內(nèi)容管理、行政管理和分配等。

Elena Martin-Monje 等（2014）認(rèn)為，對(duì)于語(yǔ)言學(xué)習(xí)類(lèi)APP，可以從教學(xué)法維度（Pedagogical）和技術(shù)維度（Technical）進(jìn)行評(píng)價(jià)。其中，教學(xué)法維度的指標(biāo)包括認(rèn)知價(jià)值和教學(xué)法一致性、內(nèi)容質(zhì)量、生成學(xué)習(xí)的能力、交互性和適應(yīng)性、動(dòng)機(jī)；技術(shù)層面的指標(biāo)包括字體和布局、可用性、可訪問(wèn)性、可視化和兼容性等。

Min Wook Ok等（2015）認(rèn)為應(yīng)該從基本信息、內(nèi)容區(qū)塊、目標(biāo)、內(nèi)容層級(jí)、圖形/主題層級(jí)、APP類(lèi)型等維度識(shí)別APP信息，并設(shè)計(jì)了教學(xué)類(lèi)APP的評(píng)價(jià)量規(guī)，具體指標(biāo)包括目標(biāo)、策略、示例、實(shí)踐、糾錯(cuò)與反饋、錯(cuò)誤分析、進(jìn)度控制、動(dòng)機(jī)、導(dǎo)航、視覺(jué)聽(tīng)覺(jué)刺激、字體、個(gè)性化設(shè)置、內(nèi)容無(wú)誤、無(wú)性別和種族之類(lèi)的偏見(jiàn)等。

Adrian Stoica等（2005）從可用性評(píng)估的角度對(duì)歷史/文化類(lèi)的場(chǎng)館APP進(jìn)行評(píng)價(jià)。通過(guò)用戶的可用性評(píng)價(jià)研究揭示了設(shè)計(jì)的一些局限性，可以利用這一評(píng)價(jià)體系對(duì)移動(dòng)設(shè)備的可用性以及不足做出評(píng)價(jià)。Claudia Barberis等（2014）認(rèn)為，人機(jī)交互過(guò)程越容易就越容易獲得高質(zhì)量的用戶體驗(yàn)：愉悅感和效用會(huì)受到信息結(jié)構(gòu)和交互流的影響，從工效角度看APP本身的可用性也會(huì)影響到用戶的參觀體驗(yàn)。Huang Weidong 等（2015）設(shè)計(jì)了一款名為SMART的場(chǎng)館移動(dòng)導(dǎo)覽，并使用問(wèn)卷調(diào)查和原型測(cè)試等方法對(duì)其進(jìn)行評(píng)價(jià)。

國(guó)內(nèi)也有一些相關(guān)的研究成果。秦銀（2011）認(rèn)為可以從內(nèi)容設(shè)計(jì)、交互設(shè)計(jì)和視覺(jué)設(shè)計(jì)三個(gè)層面對(duì)應(yīng)用程序進(jìn)行評(píng)價(jià)；黃煒、李總苛和黃建橋（2016）等從應(yīng)用平臺(tái)、用戶體驗(yàn)、可視化前臺(tái)和網(wǎng)絡(luò)后臺(tái)4個(gè)維度提出移動(dòng)應(yīng)用程序的評(píng)價(jià)指標(biāo)體系并進(jìn)行實(shí)證，為APP的設(shè)計(jì)、應(yīng)用和評(píng)價(jià)提供了重要的參考；譚翠萍和鄭懷國(guó)等（2009）在數(shù)字博物館可用性評(píng)價(jià)指標(biāo)體系中以數(shù)字環(huán)境及門(mén)戶提供的服務(wù)與功能兩方面構(gòu)成可用性評(píng)估的具體對(duì)象，評(píng)價(jià)指標(biāo)分解為有效性、效率和滿意度，對(duì)數(shù)字博物館進(jìn)行評(píng)價(jià)；陳錫晶（2014）在對(duì)網(wǎng)頁(yè)可用性研究進(jìn)行分析與借鑒的基礎(chǔ)上，從理論層面構(gòu)建了場(chǎng)館移動(dòng)應(yīng)用程序的三層（定義層、交互層和表現(xiàn)層）用戶體驗(yàn)要素模型以及可用性研究模型，并以辰山植物園科普導(dǎo)覽APP為例，對(duì)場(chǎng)館APP的可用性進(jìn)行了系統(tǒng)研究。

雖然形成了一些研究成果，但由于場(chǎng)館APP的評(píng)價(jià)存在一些難點(diǎn)，諸如數(shù)據(jù)收集更為復(fù)雜，對(duì)環(huán)境的控制也是有限的，難以應(yīng)用觀察、有聲思維等評(píng)價(jià)技術(shù)，實(shí)證研究的實(shí)施較為困難等（Kjeldskov & Stage， 2004），難以對(duì)實(shí)踐有切實(shí)的指導(dǎo)意義。筆者嘗試使用德?tīng)柗品?gòu)建場(chǎng)館APP的評(píng)價(jià)指標(biāo)體系，以期豐富場(chǎng)館學(xué)習(xí)相關(guān)理論，同時(shí)為科學(xué)、有效地設(shè)計(jì)和開(kāi)發(fā)場(chǎng)館APP提供理論指導(dǎo)與實(shí)踐建議。

三、場(chǎng)館APP評(píng)價(jià)指標(biāo)體系的構(gòu)建

場(chǎng)館APP評(píng)價(jià)研究旨在對(duì)場(chǎng)館APP的價(jià)值進(jìn)行科學(xué)、有效的評(píng)定，并以此發(fā)現(xiàn)場(chǎng)館APP本身存在的不足，為其改善提供數(shù)據(jù)、改進(jìn)方向和建議。構(gòu)建指標(biāo)體系是評(píng)價(jià)研究的核心部分。評(píng)價(jià)指標(biāo)是研究者建立的反映評(píng)價(jià)目標(biāo)的各要素之間關(guān)系及其重要程度的量化系統(tǒng)，以表明評(píng)價(jià)對(duì)象某一特征的概念及其數(shù)量，既明確了評(píng)價(jià)對(duì)象某一特征的概念，又反映了評(píng)價(jià)對(duì)象的數(shù)量，具有定性認(rèn)識(shí)和定量認(rèn)識(shí)的雙重作用。本研究旨在基于已有研究成果，嘗試構(gòu)建場(chǎng)館APP的評(píng)價(jià)指標(biāo)體系，為場(chǎng)館APP評(píng)價(jià)提供理論依據(jù)和實(shí)踐參考。指標(biāo)的構(gòu)建過(guò)程分為兩個(gè)大部分：指標(biāo)的確立和權(quán)重的確立。本研究的評(píng)價(jià)指標(biāo)是在文獻(xiàn)調(diào)研的基礎(chǔ)上，初擬指標(biāo)體系、設(shè)計(jì)專(zhuān)家征詢問(wèn)卷，通過(guò)專(zhuān)家征詢綜合各方意見(jiàn)進(jìn)行修改，并通過(guò)專(zhuān)家的打分結(jié)果確定評(píng)價(jià)指標(biāo)，獲得指標(biāo)權(quán)重。

（一）初擬指標(biāo)體系

研究表明，評(píng)價(jià)指標(biāo)體系超過(guò)五個(gè)層級(jí)便難以掌握，所以通常采用二至四級(jí)的評(píng)價(jià)指標(biāo)系統(tǒng)。其中，三個(gè)層級(jí)的指標(biāo)，既能詳細(xì)描述對(duì)象的功能、品質(zhì)與屬性，又不會(huì)過(guò)于煩瑣或簡(jiǎn)單，應(yīng)用最為廣泛。

界面是用戶體驗(yàn)的第一印象，這在場(chǎng)館APP設(shè)計(jì)中是一個(gè)很重要的部分。用戶的第一印象往往是評(píng)價(jià)好壞的先決條件，因此，頁(yè)面是否符合整體風(fēng)格統(tǒng)一、色彩協(xié)調(diào)、美觀大方、便于操作、層次清晰、圖文搭配得當(dāng)、主次鮮明、交互性強(qiáng)、跳轉(zhuǎn)準(zhǔn)確等要求，都是影響用戶評(píng)價(jià)的因素。內(nèi)容是否結(jié)合場(chǎng)館及展品特點(diǎn)進(jìn)行呈現(xiàn)，也是影響用戶使用及評(píng)價(jià)的極為關(guān)鍵的指標(biāo)。技術(shù)、功能和用戶體驗(yàn)等也是影響場(chǎng)館APP的重要指標(biāo)?；谏鲜隹紤]，充分參考與借鑒已有研究，在指標(biāo)體系設(shè)計(jì)原則的指導(dǎo)下，結(jié)合場(chǎng)館APP自身的任務(wù)與功能定位，提出了包括三個(gè)層級(jí)指標(biāo)體系的評(píng)價(jià)框架：一級(jí)指標(biāo)為界面、技術(shù)、內(nèi)容、功能和用戶體驗(yàn)等；二級(jí)指標(biāo)為色彩協(xié)調(diào)性、布局合理性等；三級(jí)指標(biāo)為主次對(duì)比呼應(yīng)等。

（二）指標(biāo)的修正

專(zhuān)家征詢法又稱(chēng)“德?tīng)柗品ā保遣捎帽硨?duì)背的通訊方式征詢專(zhuān)家小組的預(yù)測(cè)意見(jiàn)，經(jīng)過(guò)幾次反復(fù)征詢和反饋，使專(zhuān)家小組的預(yù)測(cè)意見(jiàn)趨于集中，最后獲得有很高準(zhǔn)確率的集體判斷成果。關(guān)于專(zhuān)家組的最佳人數(shù)，帕朗泰等提出專(zhuān)家組成員至少10人，一般認(rèn)為10-30人就可以基本保證研究的信度和效度（Parente & Anderson-Patente， 1987）。鑒于此，將上述評(píng)價(jià)框架設(shè)計(jì)為五級(jí)李克特量表：非常同意、同意、一般、不同意和非常不同意五個(gè)尺度空間。選擇15位來(lái)自于場(chǎng)館學(xué)習(xí)、軟件設(shè)計(jì)與開(kāi)發(fā)、教學(xué)設(shè)計(jì)等研究領(lǐng)域的專(zhuān)家，其中教授3名、副教授6名、企業(yè)產(chǎn)品經(jīng)理2名、場(chǎng)館工作者4名，通過(guò)郵件方式逐一發(fā)送專(zhuān)家征詢問(wèn)卷，詳細(xì)解釋了研究意圖。

由于征詢前所做的工作比較充分，第一輪共收到來(lái)自12位專(zhuān)家的回復(fù)，所以第一輪專(zhuān)家咨詢的積極系數(shù)，即征詢問(wèn)卷的回收率為80%，表明所選專(zhuān)家參與征詢的積極性較高。回收的問(wèn)卷也都全部有效，不存在填答不完整、沒(méi)有按要求填答或不合理填答的問(wèn)卷。第一輪征詢的重點(diǎn)問(wèn)題是，在指標(biāo)體系中各個(gè)指標(biāo)設(shè)置的合理性和必要性如何？描述是否合適？根據(jù)專(zhuān)家的建議，對(duì)指標(biāo)進(jìn)行增加、刪除及修改，具體修訂如下：刪除了指標(biāo)D23“有幫助手冊(cè)或在線服務(wù)”和E32“智能化推送”，將指標(biāo)C41“主動(dòng)推送信息”改為“個(gè)性化內(nèi)容推送”，增加了指標(biāo)C42“個(gè)性化內(nèi)容呈現(xiàn)”，增加了指標(biāo)E34“APP大小及升級(jí)”。

第二輪征詢的重點(diǎn)問(wèn)題是，針對(duì)第一輪修正后的指標(biāo)體系，是否需要再次進(jìn)行刪除或修改？針對(duì)經(jīng)過(guò)第一輪專(zhuān)家咨詢后修正的指標(biāo)，再邀請(qǐng)這12位專(zhuān)家進(jìn)行咨詢，由于經(jīng)過(guò)第一輪征詢專(zhuān)家對(duì)本研究及指標(biāo)體系有了具體的了解，12位專(zhuān)家均再次給予答復(fù)。在本輪征詢中，使用平均數(shù)和標(biāo)準(zhǔn)差等量化數(shù)值進(jìn)行指標(biāo)的修訂。平均數(shù)反映的是專(zhuān)家對(duì)指標(biāo)的認(rèn)可程度，值越高，表明該項(xiàng)指標(biāo)越重要。通過(guò)開(kāi)展小組討論反復(fù)研究指標(biāo)篩選的標(biāo)準(zhǔn)和原則，可以認(rèn)為如果某一個(gè)指標(biāo)的平均數(shù)小于3分，說(shuō)明該指標(biāo)的重要程度沒(méi)有達(dá)到本研究指標(biāo)體系的選擇標(biāo)準(zhǔn)，可以刪除。標(biāo)準(zhǔn)差是重要的差異量指標(biāo)，可以反映出一個(gè)數(shù)據(jù)集的離散程度，反映出專(zhuān)家意見(jiàn)的一致性程度。如果某一指標(biāo)項(xiàng)的標(biāo)準(zhǔn)差大于1.0，則此指標(biāo)項(xiàng)專(zhuān)家意見(jiàn)離散程度較高，需要進(jìn)一步對(duì)專(zhuān)家進(jìn)行咨詢。如果標(biāo)準(zhǔn)差小于1.0，說(shuō)明專(zhuān)家對(duì)指標(biāo)合適程度判定的一致性較高。通過(guò)對(duì)第二輪回收的專(zhuān)家征詢表的各項(xiàng)指標(biāo)評(píng)分結(jié)果進(jìn)行錄入與分析，計(jì)算出每項(xiàng)指標(biāo)的重要性和可操作性的平均數(shù)和標(biāo)準(zhǔn)差，在42個(gè)三級(jí)指標(biāo)中，有41項(xiàng)二級(jí)指標(biāo)的平均數(shù)都大于3，標(biāo)準(zhǔn)差小于1，占總指標(biāo)數(shù)量的97.6%。這說(shuō)明專(zhuān)家對(duì)該指標(biāo)體系中的大多數(shù)指標(biāo)持贊同意見(jiàn)。A33項(xiàng)“輸入指導(dǎo)”平均數(shù)小于3，標(biāo)準(zhǔn)差大于1，出現(xiàn)了異常情況，原因可能在于交互技術(shù)越來(lái)越多樣化，如屏幕觸控技術(shù)、傳感感應(yīng)技術(shù)、語(yǔ)音交互技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)等，“輸入”一詞的表達(dá)具有一定的局限性?？紤]將其修改為“交互個(gè)性化”，旨在評(píng)價(jià)APP是否可以為用戶提供個(gè)性化的交互方式。

經(jīng)過(guò)兩輪專(zhuān)家意見(jiàn)征詢和反饋，專(zhuān)家意見(jiàn)基本趨于集中，不再進(jìn)行新一輪的專(zhuān)家意見(jiàn)征詢。

本研究使用層次分析法以確定各項(xiàng)指標(biāo)的權(quán)重。該方法需要通過(guò)專(zhuān)家來(lái)初步確認(rèn)各項(xiàng)指標(biāo)的權(quán)重值，并設(shè)定了一致性檢驗(yàn)環(huán)節(jié)，對(duì)專(zhuān)家判斷的結(jié)果通過(guò)設(shè)立判斷矩陣的方式進(jìn)行一致性檢驗(yàn)，如果無(wú)法通過(guò)檢驗(yàn)，則需要專(zhuān)家團(tuán)重新討論設(shè)定權(quán)重值，直至通過(guò)檢驗(yàn)為止。根據(jù)專(zhuān)家打分推薦的指標(biāo)權(quán)重，結(jié)合指標(biāo)項(xiàng)在整體指標(biāo)體系中的重要程度，得到各個(gè)項(xiàng)指標(biāo)的權(quán)重?cái)?shù)值。一致性指數(shù)（CI）的計(jì)算公式為：

[λi=j=1maijwjwj] [λmax=i=1mλim] [CI=λmax-nn-1]

其中，m為受檢驗(yàn)層次的子目標(biāo)數(shù)，λi為該層次目標(biāo)成對(duì)比較判斷優(yōu)選矩陣的特征根，λmax 為特征根的平均值。經(jīng)過(guò)檢驗(yàn)后，如果CI值大于0.1，需要重新設(shè)定兩個(gè)指標(biāo)間的對(duì)比值；如果CI值均小于0.1，說(shuō)明指標(biāo)組成的矩陣具有相對(duì)一致性。

經(jīng)過(guò)兩輪專(zhuān)家意見(jiàn)征詢之后，得到評(píng)價(jià)指標(biāo)體系及各指標(biāo)的相應(yīng)權(quán)重如表1所示。

四、應(yīng)用研究

以筆者團(tuán)隊(duì)開(kāi)發(fā)的某科技館APP為例，使用本研究的評(píng)價(jià)指標(biāo)體系進(jìn)行應(yīng)用研究。將上述評(píng)價(jià)指標(biāo)體系改編成問(wèn)卷的形式，增加前言、個(gè)人特征資料、結(jié)語(yǔ)等部分，將評(píng)價(jià)框架設(shè)計(jì)為五級(jí)李克特量表的形式，劃分為非常滿意、滿意、一般、不滿意、非常不滿意（分別賦值5、4、3、2、1）五個(gè)尺度空間。在正式施測(cè)之前，選擇25位使用者進(jìn)行一次試測(cè)。通過(guò)試測(cè)，修訂描述不清或容易引起歧義的語(yǔ)義問(wèn)題。Cranbachs Alpha系數(shù)為0.871，探索性因子分析結(jié)果為0.763，說(shuō)明該問(wèn)卷通過(guò)了信度、效度檢驗(yàn)，滿足本研究的需要，可以正式發(fā)放。正式施測(cè)的樣本對(duì)象為該科技館APP的使用者，共回收問(wèn)卷124份，剔除無(wú)效問(wèn)卷以后，有效問(wèn)卷為108份。其中，男性65名，占樣本總數(shù)的60.2%；女性43名，占樣本總數(shù)的39.8%。從樣本對(duì)象的年齡區(qū)間來(lái)看，18-25歲的15名，占13.9%；26-30歲的45名，占41.7%；31-40歲的28名，占25.9%；41-50歲的12名，占11.1%；51-60歲的8名，占7.4%。將收集到的有效問(wèn)卷統(tǒng)一進(jìn)行編號(hào)處理，利用SPSS 22.0等數(shù)據(jù)分析工具進(jìn)行統(tǒng)計(jì)分析。

根據(jù)問(wèn)卷的統(tǒng)計(jì)結(jié)果匯總，將每個(gè)指標(biāo)項(xiàng)得分取平均值，界面、技術(shù)、內(nèi)容、功能、用戶體驗(yàn)等維度分別得分為4.82、4.04、4.36、3.78、3.52，乘以各維度的權(quán)重0.151、0.123、0.235、0.194、0.297，最終的綜合得分為4.028，綜合評(píng)價(jià)雷達(dá)圖見(jiàn)圖1。總體而言，界面維度的指標(biāo)得分最高，內(nèi)容維度次之，技術(shù)維度得分居中，功能與用戶體驗(yàn)得分較低一些，該科技館APP的設(shè)計(jì)和開(kāi)發(fā)重視界面的設(shè)計(jì)和內(nèi)容的呈現(xiàn)，對(duì)功能設(shè)計(jì)有待提升，需要更多地關(guān)注用戶體驗(yàn)。

界面維度的指標(biāo)得分最高。從具體的單項(xiàng)指標(biāo)來(lái)看，A11、A12、A21和A22 四項(xiàng)指標(biāo)的平均值較高一些，這些指標(biāo)描述了色彩協(xié)調(diào)性、布局合理性等屬性，說(shuō)明該APP的色彩、布局等得到了用戶的認(rèn)可，滿意度較高。A31、A32和A33三項(xiàng)指標(biāo)的平均值相對(duì)較低，其中以A32項(xiàng)指標(biāo)“用戶參與方式”得分最低。原因可能在于，當(dāng)前的交互技術(shù)如屏幕觸控技術(shù)、傳感感應(yīng)技術(shù)、語(yǔ)音交互技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)等的發(fā)展，人與場(chǎng)館、展品之間的交互更加多樣化，帶來(lái)超越現(xiàn)實(shí)的感官體驗(yàn)。而該APP的交互設(shè)計(jì)采用了常用的屏幕觸控技術(shù)，用戶參與方式較為單一。部分界面截圖如圖2所示。

內(nèi)容指標(biāo)項(xiàng)的得分僅次于界面。從具體的單項(xiàng)指標(biāo)來(lái)看，C11、C12、C13、C22、C31、C32等各項(xiàng)指標(biāo)的平均值較高一些，因?yàn)樵谠O(shè)計(jì)時(shí)將科技館內(nèi)的展品按照內(nèi)容進(jìn)行整合，分為磁電展區(qū)、天地自然展區(qū)等12個(gè)展區(qū)，每個(gè)展區(qū)主題鮮明、結(jié)構(gòu)合理，并結(jié)合每個(gè)展區(qū)的主題設(shè)計(jì)了一些相應(yīng)的學(xué)習(xí)資源，如微視頻、任務(wù)單等，既突出了科技類(lèi)場(chǎng)館的特色，又在一定程度上體現(xiàn)了地質(zhì)科學(xué)、生物科學(xué)、物理科學(xué)等學(xué)科的特點(diǎn)，方便用戶按展區(qū)來(lái)查找相應(yīng)的展品內(nèi)容，這一點(diǎn)得到了用戶的認(rèn)可。也有一些指標(biāo)得分相對(duì)較低一些，如C41、C42等。該APP還不能實(shí)現(xiàn)為用戶定制信息，提供個(gè)性化的信息推送，在內(nèi)容的呈現(xiàn)上仍有提升空間。

技術(shù)維度均值為4.04。從具體的指標(biāo)項(xiàng)來(lái)看，B11、B12、B14、B21、B23等得分較高一些。該APP的基礎(chǔ)性能較好，穩(wěn)定性高、兼容性強(qiáng)、沒(méi)有植入外部插件，對(duì)其他軟件平臺(tái)的交互通過(guò)超鏈接實(shí)現(xiàn)，內(nèi)部純凈，不會(huì)出現(xiàn)沖突。在安全隱私上，用戶可以通過(guò)創(chuàng)建自己的個(gè)人賬戶與空間，保障用戶的個(gè)人隱私。同時(shí)，該APP沒(méi)有廣告插件，也沒(méi)有惡意鏈接，不存在病毒干擾。

從功能來(lái)看，有一些指標(biāo)項(xiàng)的得分較高，如D11、D12、D13、D31等。該APP為用戶提供了在線討論及咨詢功能，方便用戶進(jìn)行交流互動(dòng)；還提供了簡(jiǎn)單易懂的導(dǎo)覽功能，結(jié)構(gòu)框架清晰、鏈接資源豐富，所以用戶滿意度較高。還有一些指標(biāo)項(xiàng)得分相對(duì)較低，如D21、D22等，原因在于該APP沒(méi)有為用戶提供基于位置的服務(wù)，還有待改進(jìn)與提升。

從用戶體驗(yàn)維度來(lái)看，有一些指標(biāo)項(xiàng)的得分較高，如E11、E12、E31等。該APP的操作簡(jiǎn)便，頁(yè)面之間的轉(zhuǎn)換靈活，為用戶帶來(lái)了易用的滿意體驗(yàn)。在用戶體驗(yàn)層面如何去平衡各方面的指標(biāo)，提升整體滿意度，需要從學(xué)習(xí)者的角度進(jìn)行設(shè)計(jì)與開(kāi)發(fā)，才能更好地滿足學(xué)習(xí)者的需求。

實(shí)證研究表明，本研究構(gòu)建的場(chǎng)館APP評(píng)價(jià)指標(biāo)體系是可行的，在具體指標(biāo)的設(shè)計(jì)上能體現(xiàn)移動(dòng)APP的共性指標(biāo)，也凸顯了場(chǎng)館APP的特色，具有一定的理論和實(shí)踐價(jià)值。從理論上來(lái)講，場(chǎng)館APP評(píng)價(jià)體系的理論模型是一個(gè)創(chuàng)新，為后續(xù)研究提供了理論依據(jù)。從實(shí)踐意義上來(lái)講，本評(píng)價(jià)體系有助于發(fā)現(xiàn)場(chǎng)館APP中存在的問(wèn)題和不足，對(duì)改善場(chǎng)館APP的設(shè)計(jì)與開(kāi)發(fā)起到一定的導(dǎo)向作用，對(duì)場(chǎng)館評(píng)價(jià)研究工作提供現(xiàn)實(shí)參考和依據(jù)?？傊?，該評(píng)價(jià)體系對(duì)場(chǎng)館APP的設(shè)計(jì)、開(kāi)發(fā)、評(píng)價(jià)等具有重要的理論和現(xiàn)實(shí)意義。

五、結(jié)語(yǔ)與展望

在場(chǎng)館的教育功能日益凸顯、信息技術(shù)發(fā)展日新月異的今天，如何借力技術(shù)更好地發(fā)揮場(chǎng)館的教育功能是當(dāng)下需要深入思考的問(wèn)題。場(chǎng)館APP的設(shè)計(jì)與開(kāi)發(fā)恰恰迎合了這一發(fā)展趨勢(shì)，目標(biāo)指向?yàn)閷W(xué)習(xí)者提供個(gè)性化、精準(zhǔn)的場(chǎng)館移動(dòng)學(xué)習(xí)資源，有助于提高學(xué)習(xí)者的滿意度，從而更好地發(fā)揮場(chǎng)館的社會(huì)教育職能。本研究?jī)H選擇場(chǎng)館APP評(píng)價(jià)這一角度切入，系統(tǒng)性的研究還有待后續(xù)進(jìn)一步展開(kāi)。另外，由于在建立本評(píng)價(jià)指標(biāo)體系的過(guò)程中我們收到的專(zhuān)家權(quán)威意見(jiàn)和樣本范圍較小，其有效性還有待更深入的實(shí)證研究來(lái)檢驗(yàn)，使之更加完善。

[參考文獻(xiàn)]

陳錫晶. 2014. 辰山植物園科普導(dǎo)覽App可用性研究[D]. 上海：東華大學(xué).

黃煒，李總苛，黃建橋. 2016. 移動(dòng)應(yīng)用程序（APP）評(píng)價(jià)指標(biāo)體系研究[J]. 圖書(shū)與情報(bào)（4）：110-117.

李冬霞. 2015. 微課程的可用性研究[D]. 金華：浙江師范大學(xué).

秦銀. 2011. 大學(xué)生智能手機(jī)應(yīng)用軟件設(shè)計(jì)的用戶期望研究[D]. 無(wú)錫：江南大學(xué).

孫艷超，杜華. 2016. 國(guó)際場(chǎng)館學(xué)習(xí)研究：引文編年圖與主路徑分析[J]. 遠(yuǎn)程教育雜志（6）：103-110.

譚翠萍，鄭懷國(guó). 2016. 北京農(nóng)業(yè)數(shù)字博物館門(mén)戶可用性評(píng)價(jià)指標(biāo)體系[J]. 安徽農(nóng)業(yè)科學(xué)（9）：12321-12323.

余玉龍. 1998. 試析博物館教育的特性[J]. 中國(guó)博物館（3）：88.

鄭奕. 2015. 博物館教育活動(dòng)研究[M]. 上海：復(fù)旦大學(xué)出版社.

Barberis， C.， Xhembulla， J.， Rubino， I.， Chio， L. D.， & Malnati， G. （2014）. Enhancing a museum mobile application through user experience design： a comparative analysis. Wseas Press.

Damala， A.， & Kockelkorn， H. （2006）. A taxonomy for the evaluation of mobile museum guides. Conference on Human-Computer Interaction with Mobile Devices and Services， Mobile Hci 2006， Helsinki， Finland， September （pp.273-274）. DBLP.

Falk， J. H.， & Dierking， L. D. （2000）. Learning from museums：visitor experiences and the making of meaning. Altamira Press.

Huang， W.， Kaminski， B.， Luo， J.， Huang， X.， Li， J.， & Ross， A.， et al. （2015）. SMART： Design and Evaluation of a Collaborative Museum Visiting Application. International Conference， Cdve 2015， Mallorca， Spain， September 20-23， 2015. Proceedings （Vol.9320， pp.57-64）.

Huy， N. P.， & Vanthanh， D. （2012）. Evaluation of mobile app paradigms.International Conference on Advances in Mobile Computing & Multimedia（pp.25-30）.

Kenteris， M.， Gavalas， D.， & Economou， D. （2011）. Electronic mobile guides： a survey. Personal & Ubiquitous Computing， 15（1）， 97-111.

Kjeldskov， J.， & Stage， J. （2004）. New techniques for usability evaluation of mobile systems. International Journal of Human-Computer Studies，60（5-6）， 599-620.

Martín-Monje， E.， Arús， J.， Rodríguez-Arancón， P.， & Calle， C. （2014）. Reall： rubric for the evaluation of apps in language learning.

Ok， M. W.， Kim， M. K.， Kang， E. Y.， & Bryant， B. R. （2016）. How to find good apps： an evaluation rubric for instructional apps for teaching students with learning disabilities. Intervention in School & Clinic， 51（4）：244-252.

Parenté， F. J.， & Anderson-Parenté， J. K. （2010）. Delphi inquiry systems.In G. Wright and P. Ayton （eds.）， Judgmental forecasting（pp. 129-156）.New York：John Wiley.

Stoica， A.， Fiotakis， G.， Cabrera， J. S.， Frutos， H. M.， Avouris， N.， & Dimitriadis， Y. （2005）. Usability evaluation of handheld devices： a case study for a museum application. Proceedings Pci Volos.

Zhang， D.， & Adipat， B. （2005）.Challenges， methodologies， and issues in the usability testing of mobile applications. International Journal of Human-Computer Interaction， 18（3）， 293-308.

收稿日期：2017-08-25

定稿日期：2017-11-29

作者簡(jiǎn)介：杜華，在讀博士；楊曉宏，教授，博士生導(dǎo)師。西北師范大學(xué)教育技術(shù)學(xué)院（730070）。

責(zé)任編輯 韓世梅