董晶　吳丹

摘 要：移動視覺搜索應(yīng)用于公共文化服務(wù)符合國家 “互聯(lián)網(wǎng)+”的發(fā)展戰(zhàn)略。通過對移動視覺搜索應(yīng)用于智慧公共文化服務(wù)的需求動機可以發(fā)現(xiàn)：公共文化服務(wù)領(lǐng)域已有豐富的視覺資源；不同機構(gòu)視覺資源急需互聯(lián)；大數(shù)據(jù)環(huán)境激發(fā)高層語義表達需求；移動互聯(lián)網(wǎng)改變?nèi)藗兯阉髁晳T。隨后從視覺資源獲取方式、視覺資源組織方式、移動視覺搜索實現(xiàn)方式和應(yīng)用與服務(wù)方式四個方面進行案例分析，構(gòu)建了一個基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型。文章最后從視覺資源獲取、視覺資源組織、移動視覺搜索和應(yīng)用服務(wù)四個層面探討移動視覺搜索如何應(yīng)用于公共文化服務(wù)。

關(guān)鍵詞：移動視覺搜素；智慧公共文化服務(wù)；公共文化服務(wù)模型；關(guān)聯(lián)數(shù)據(jù)；情境感知

中圖分類號：G252；TP18 文獻標識碼：A DOI：10.11968/tsyqb.1003-6938.2018021

Smart Cultural Service Model Based on Mobile Visual Search

Abstract Under the mobile Internet environment， the application of mobile visual search technology in the field of public cultural services responses to the national strategy of cultural "Internet +"， bringing the opportunity of developing smart public cultural services. This paper analyzes the motivation of applying mobile visual search in smart public cultural services. It is concluded that public cultural service fields possess massive visual resources and they urgently need to be linked. Moreover， the demand for high-level semantic of visual resources is generated and people prefer mobile search nowadays. Therefore， this paper proposes a smart public cultural service model based on mobile visual search technology， by analyzing empirical cases. It discusses the important modules from four levels of visual resource acquisition， visual resource organization， mobile visual search and service application.

Key words mobile visual search； smart public cultural services； public cultural service model； linked data； context awareness

1 引言

隨著智能手機的普及和移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，當今世界已步入移動互聯(lián)網(wǎng)時代，全球移動互聯(lián)網(wǎng)用戶規(guī)模不斷擴大，移動互聯(lián)網(wǎng)使用率已超過固定寬帶使用率[1]。為滿足用戶的移動搜索需求，適應(yīng)日益成熟的移動互聯(lián)網(wǎng)環(huán)境，傳統(tǒng)的圖像搜索技術(shù)逐漸向移動視覺搜索技術(shù)靠攏。移動視覺搜索是指利用移動智能終端上的攝像頭捕捉現(xiàn)實場景中的圖像，并將其作為查詢式搜索與之相關(guān)聯(lián)的文本、圖像、視頻等信息資源的一種交互式檢索方式[2]。如谷歌眼鏡使用內(nèi)置攝像頭拍攝圖像后，可通過谷歌開發(fā)的移動視覺搜索應(yīng)用Google Goggles搜索與該圖像視覺對象有關(guān)的多媒體信息。這種“以圖搜圖”的方式是移動視覺搜索與傳統(tǒng)檢索方式最大的不同之處，也是其優(yōu)勢所在。視覺資源具有結(jié)構(gòu)復(fù)雜、類型多元、多維尺度關(guān)聯(lián)和縱深維度高等特性[3]。視覺資源中蘊含的語義信息包括視覺對象、事物內(nèi)容、事件的時序或時空關(guān)聯(lián)關(guān)系等。舉例來說，一張建筑照片所包含的語義信息不僅是建筑物本身的外觀（視覺對象），還有建筑物的名稱（事物內(nèi)容），以及拍攝照片時建筑物所處的時代和周邊地理環(huán)境（事件的時序或時空）。移動視覺搜索通過攝像頭捕捉的圖像進行搜索，查詢中可供利用的語義信息更豐富，檢索線索更充足、檢索交互性更高，從而提升檢索結(jié)果的相關(guān)性。同時，“以圖搜圖”也有效地避免了用戶通過文本描述將視覺資源的語義信息降維，在減少查詢語義鴻溝的同時提升了用戶體驗。

《中華人民共和國公共文化服務(wù)保障法》將公共文化服務(wù)定義為：“由政府主導(dǎo)、社會力量參與，以滿足公民基本文化需求為主要目的而提供的公共文化設(shè)施、文化產(chǎn)品、文化活動以及其他相關(guān)服務(wù)?！痹谖覈参幕?wù)體系中，圖書館、博物館等文化事業(yè)單位是主要的參與力量。2018年3月5日，李克強總理在《政府工作報告》中提出對2018年政府工作的建議：“……加強新一代人工智能研發(fā)應(yīng)用，在醫(yī)療、養(yǎng)老、教育、文化、體育等多領(lǐng)域推進‘互聯(lián)網(wǎng)+。”[4]移動視覺搜索技術(shù)與公共文化服務(wù)的結(jié)合正是響應(yīng)了在文化領(lǐng)域推進“互聯(lián)網(wǎng)+”的國家發(fā)展戰(zhàn)略，使得公共文化服務(wù)更加適應(yīng)移動互聯(lián)網(wǎng)環(huán)境。2015年1月，《關(guān)于加快構(gòu)建現(xiàn)代公共文化服務(wù)體系的意見》要求“結(jié)合‘寬帶中國‘智慧城市等國家重大信息工程建設(shè)，加快推進公共文化機構(gòu)數(shù)字化建設(shè)”。智慧城市建設(shè)向智慧公共文化服務(wù)建設(shè)提出了發(fā)展要求，因為公共文化服務(wù)的智慧化水平是衡量智慧城市建設(shè)水平的重要標準之一。移動視覺搜索作為新一代信息技術(shù)的產(chǎn)物，在公共文化服務(wù)智慧化發(fā)展進程中必不可少。

圖書館、博物館等公共文化服務(wù)機構(gòu)中蘊含著大量文本、圖片、視頻等視覺資源，為發(fā)展移動視覺搜索提供了肥沃的土壤。與此同時，用戶對智能化搜索和視覺資源高層語義表達的需求越來越強烈。傳統(tǒng)的通過文字描述表達視覺資源需求的方式難以準確傳達用戶的搜索意圖，用戶不僅需要表達視覺資源的基礎(chǔ)語義特征（視覺對象是什么，顏色、形狀等），還需要進一步表達視覺對象的高層語義特征（視覺對象蘊含的人文感知、主觀感受、情感認知等）。將移動視覺搜索技術(shù)應(yīng)用到公共文化服務(wù)，能夠解決視覺資源需求表達上的語義鴻溝問題，推動公共文化服務(wù)向智慧、智能方向發(fā)展。因此，本文在廣泛調(diào)查移動視覺搜索在公共文化服務(wù)領(lǐng)域應(yīng)用案例的基礎(chǔ)上，分析移動視覺搜索技術(shù)的實踐應(yīng)用模式，并由此提出基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型。

2 移動視覺搜索與應(yīng)用研究概況

移動視覺搜索相關(guān)的研究主要集中在三個方面：（1）探討實現(xiàn)移動視覺搜索各環(huán)節(jié)的技術(shù)方案；（2）移動視覺搜索的機制和理論研究；（3）移動視覺搜索的應(yīng)用實踐。

視覺搜索的實現(xiàn)首先需要建立特征索引庫，隨后將查詢對象的視覺特征與索引庫進行比對，按相關(guān)性排列搜索結(jié)果并反饋給用戶[5]。因此，移動視覺搜索過程中的主要環(huán)節(jié)有：視覺對象特征描述、特征匹配、相關(guān)性排序、結(jié)果反饋。在特征描述環(huán)節(jié)，由于移動網(wǎng)絡(luò)環(huán)境帶寬有限和不穩(wěn)定問題，因而在描述視覺對象特征時需要針對視覺查詢進行緊湊表示，提取局部特征的緊湊視覺描述子，再通過聚合局部特征描述子得到視覺對象的全局描述子[6]。在關(guān)于緊湊視覺描述子的研究中，尺度不變描述子（scale invariant feature transform，SIFT）被認為是較為有效的一種[7]。為了獲得高質(zhì)量的緊湊視覺描述子，移動設(shè)備對視覺對象的高識別率是重要基礎(chǔ)。在現(xiàn)實場景中，透視變化、手抖等均會影響識別精度，對此，Liu等[8]利用基于深度學習的哈希方法實現(xiàn)移動視覺搜索，比傳統(tǒng)方法的識別率提高了70%；Gao等[9]結(jié)合魯棒本地補丁挖掘和幾何參數(shù)編碼，提出了一種離線查詢擴展方法。在特征匹配環(huán)節(jié)，通常通過幾何一致性校驗來完成，包含局部描述子匹配和全局描述子匹配兩個階段。在相關(guān)性排序環(huán)節(jié)，引入情境感知和用戶交互信息是提高檢索結(jié)果相關(guān)性行之有效的方法，如Kuo等[10]利用情景信息重構(gòu)BoW模型獲得了更準確的檢索結(jié)果。在結(jié)果反饋環(huán)節(jié)，移動視覺搜索的“以圖搜圖”并不意味著只反饋圖像信息，而是與查詢圖像有關(guān)的文本、圖像、視頻等各種信息，關(guān)聯(lián)數(shù)據(jù)的應(yīng)用恰好能夠?qū)崿F(xiàn)這一點[11]。

移動視覺搜索的理論研究多從數(shù)字圖書館的角度討論移動視覺搜索機制和框架[12-14]。關(guān)聯(lián)數(shù)據(jù)是數(shù)據(jù)組織和共享的一種框架結(jié)構(gòu)，也是圖書情報領(lǐng)域經(jīng)典的研究內(nèi)容。關(guān)聯(lián)數(shù)據(jù)利用資源描述框架（RDF）描述數(shù)據(jù)，又通過統(tǒng)一資源標識符（URI）進行數(shù)據(jù)標識，從而有效地關(guān)聯(lián)數(shù)據(jù)并提供計算機可理解的語義信息。對于語義信息復(fù)雜多樣的視覺資源而言，關(guān)聯(lián)數(shù)據(jù)能實現(xiàn)視覺資源之間的有效互聯(lián)，因此，關(guān)聯(lián)數(shù)據(jù)與移動視覺搜索的結(jié)合受到廣泛關(guān)注[11-12，15]。此外，情境感知理論也被應(yīng)用于移動視覺搜索模型的構(gòu)建中。如韓璽等[16]提出的基于情景感知的圖書館移動視覺搜索服務(wù)模型，將用戶需求偏好、時空信息視覺載體等作為檢索線索，構(gòu)建具體用戶情境，從而揭示用戶潛在的移動信息需求。在面向科研用戶的移動視覺搜索模型中，情境資料庫為融合情境的知識展示提供依據(jù)[17]。

移動視覺搜索的應(yīng)用實踐大致被分為兩類：一是在移動端設(shè)備實現(xiàn)移動視覺搜索的應(yīng)用軟件，如移動APP、移動Web搜索引擎等；二是支持移動視覺搜索功能的可穿戴設(shè)備，如智能眼鏡、智能頭盔等[18]。由于智能眼鏡、智能頭盔等可穿戴設(shè)備價格高、使用不普及，APP類的移動視覺搜索產(chǎn)品處于主流地位。大多數(shù)得到廣泛推廣使用的移動視覺搜索產(chǎn)品集中在商業(yè)領(lǐng)域，如Google Goggles、拍立淘等。公共文化服務(wù)領(lǐng)域的應(yīng)用案例主要用于學術(shù)研究，如SCARLET項目、LibrARi、ShelvAR等，后文將進行詳細分析。

總體而言，技術(shù)層面的研究，由于有視覺搜索技術(shù)的研究基礎(chǔ)，現(xiàn)有研究重點思考如何適應(yīng)移動網(wǎng)絡(luò)環(huán)境的特點；理論層面的研究則集中在圖書館背景下，缺少在公共文化服務(wù)大背景下的研究；盡管應(yīng)用研究略有探索，但集中在商業(yè)領(lǐng)域的應(yīng)用產(chǎn)品[18-19]，缺少公共文化服務(wù)領(lǐng)域案例的深入分析。

3 基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型的構(gòu)建動機

3.1 公共文化服務(wù)領(lǐng)域蘊含豐富視覺資源

21世紀初，我國響應(yīng)國際上興起的公共文化資源數(shù)字化運動，啟動了一系列公共數(shù)字文化工程，2015年，國務(wù)院更是提出了“加快推進公共文化服務(wù)數(shù)字化建設(shè)”的要求。圖書館、博物館、美術(shù)館等不同類型的公共文化服務(wù)機構(gòu)紛紛響應(yīng)，開展館藏數(shù)字化工作。依托這些公共數(shù)字文化資源，各省市陸續(xù)上線了一批公共數(shù)字文化服務(wù)平臺，如上?！拔幕啤薄拔幕味ㄔ啤薄罢憬幕ā薄拔幕瘜幉ü卜?wù)平臺”等。然而，此類公共數(shù)字文化服務(wù)平臺所提供的傳統(tǒng)的文本檢索難以對非文本資源實現(xiàn)充分揭示。公共文化服務(wù)機構(gòu)提供的大量文本、圖像、視頻等數(shù)字化館藏已經(jīng)形成了一座公共文化視覺資源寶礦，為公共文化服務(wù)利用移動視覺搜索奠定了堅實的資源基礎(chǔ)，而移動視覺搜索也給公共文化視覺資源的利用帶來新的思路。

3.2 不同公共文化服務(wù)機構(gòu)的視覺資源急需融合

現(xiàn)有的公共文化視覺資源存在于不同的公共文化服務(wù)機構(gòu)中，盡管不同來源、語種、類型的視覺資源之間存在著復(fù)雜的語義關(guān)聯(lián)，但這種語義關(guān)聯(lián)尚未得到有效揭示，導(dǎo)致不同公共文化服務(wù)機構(gòu)的視覺資源相對獨立、割裂分散、總體利用率低下。調(diào)查顯示，我國用戶在使用公共數(shù)字文化資源時，往往需要連續(xù)訪問多個不同文化機構(gòu)的資源平臺才能滿足自身信息需求[20]。移動視覺搜索在反饋搜索結(jié)果時往往是與查詢視覺對象有關(guān)的多種視覺資源的綜合展示，這種多角度揭示視覺資源復(fù)雜關(guān)聯(lián)的方式恰好有助于解決公共文化視覺資源的割裂分散問題。正如歐洲數(shù)字圖書館項目“Europeana”集合了圖書館、博物館、檔案館等多源文化資源，移動視覺搜索與公共文化服務(wù)的結(jié)合能夠促進不同公共文化服務(wù)機構(gòu)視覺資源加速融合，形成一張完整的公共文化視覺資源關(guān)聯(lián)網(wǎng)絡(luò)。

3.3 大數(shù)據(jù)環(huán)境激發(fā)用戶高層語義表達需求

大數(shù)據(jù)環(huán)境下，視覺資源數(shù)據(jù)量大、形式多樣，圖像、視頻等視覺資源蘊含著更復(fù)雜的信息內(nèi)容，用戶對信息資源語義內(nèi)容的需求也逐漸向深層次發(fā)展。圖像、視頻等視覺資源比文本信息的語義維度更高，是線條、色彩、聲音、動作等客觀呈現(xiàn)的淺層語義與其中所蘊含的人文內(nèi)涵的集成。在被視覺資源包圍的大數(shù)據(jù)環(huán)境下，通過表達淺層語義實施的文本搜索難以充分描述用戶的搜索意圖，而包含主觀情感、人文內(nèi)涵的高層語義表達方式更貼近用戶的搜索需求。移動視覺搜索不僅能夠反映“視覺對象是什么”這種淺層語義，還能表達視覺對象給用戶帶來的人文感受，如戈壁的“荒涼”、高山的“偉岸”，有效地避免了文本檢索中高層語義流失的問題。用戶搜索的高層語義表達需求意味著公共文化服務(wù)引入移動視覺搜索技術(shù)勢在必行。

3.4 移動互聯(lián)網(wǎng)環(huán)境改變用戶搜索習慣

我國網(wǎng)絡(luò)用戶的搜索設(shè)備使用率顯示，手機搜索用戶占比穩(wěn)定提升，而使用電腦搜索信息的用戶占比顯著下降[21]，在移動互聯(lián)網(wǎng)環(huán)境中，人們的搜索習慣向移動化、智能化發(fā)展，用戶更加傾向于自由靈活、方便快捷的檢索入口和檢索方式，從當今社會中隨處可見的掃碼搜索現(xiàn)象便可見一斑。單純的公共文化資源數(shù)字化只能實現(xiàn)用戶足不出戶使用公共文化服務(wù)，而移動互聯(lián)網(wǎng)環(huán)境下，用戶更希望隨時隨地獲取公共文化服務(wù)。移動視覺搜索應(yīng)用到公共文化服務(wù)中，意味著公共文化服務(wù)能夠廣泛嵌入到用戶的生活中，突破時空限制，為用戶帶來更加高效便利、靈活自由、交互性強的服務(wù)體驗。此外，傳統(tǒng)桌面搜索用戶接收信息來源于網(wǎng)頁，視覺搜索需求比較小眾，而場景不斷變化的移動環(huán)境中，用戶接觸新信息的來源更豐富，更能激發(fā)用戶的移動視覺搜索意愿。

4 移動視覺搜索在公共文化服務(wù)中的應(yīng)用案例分析

盡管大部分移動視覺搜索產(chǎn)品屬于商業(yè)領(lǐng)域，仍有部分產(chǎn)品為公共文化服務(wù)而生，且主要集中在圖書館和博物館（包括美術(shù)館）兩類公共文化服務(wù)機構(gòu)。本文通過調(diào)查論文和網(wǎng)絡(luò)，對圖書館和博物館中移動視覺搜索的應(yīng)用案例進行了集中梳理和深入分析（見表1）。

4.1 視覺資源獲取方式

通過分析案例發(fā)現(xiàn)，移動視覺搜索的視覺資源主要來源于圖書館、博物館等公共文化機構(gòu)提供的館藏數(shù)據(jù)，此外，也廣泛利用互聯(lián)網(wǎng)中的信息。（1）在圖書館中，移動視覺搜索常利用的資源有書籍封面照片、館藏書目信息、數(shù)字化書籍全文等。LibrARi和ShelvAR均需要識別書籍照片來確定具體館藏，隨后將書號、館藏位置等書目信息反饋給用戶；SCARLET項目中開發(fā)的移動視覺搜索應(yīng)用則可以向用戶展示古籍特藏資源的圖片以及數(shù)字化全文；（2）在博物館中，移動視覺搜索的資源則常來源于藏品照片、藏品簡介文本、解說音視頻等。PhoneGuide使用的藏品照片來源于德國森肯貝格自然博物館，且每個藏品具有三個不同角度的照片；基于SIFT的移動視覺搜索導(dǎo)覽系統(tǒng)可以提供畫作的文字簡介、畫作創(chuàng)作者簡介以及畫作的音視頻解說。公共文化機構(gòu)提供的館藏數(shù)據(jù)仍有局限，互聯(lián)網(wǎng)中開放獲取的信息能夠進行有效補充。Libagent通過書籍照片識別圖書后可以反饋該圖書在亞馬遜上的售賣價格；鐘志鵬等[27]開發(fā)的博物館導(dǎo)覽系統(tǒng)支持搜索展品相關(guān)的網(wǎng)頁信息。對于公共文化機構(gòu)提供的數(shù)據(jù)，讀者可直接通過圖書館、博物館的數(shù)字化館藏數(shù)據(jù)庫獲得；對于互聯(lián)網(wǎng)信息，則可以通過網(wǎng)站提供的API接口，采用網(wǎng)絡(luò)爬蟲方法爬取數(shù)據(jù)。

4.2 視覺資源組織方式

就現(xiàn)有應(yīng)用案例而言，視覺資源的組織方式上尚未實行任何新穎的信息資源描述方法，均是直接借用已有的館藏描述數(shù)據(jù)。如Libagent的視覺資源來源于詹姆士庫克大學圖書館館藏，該移動視覺搜索系統(tǒng)直接調(diào)用詹姆士庫克大學圖書館管理系統(tǒng)Tropicat中存有的書目信息，沒有對視覺資源重新描述。本文認為，視覺資源蘊含的高層語義內(nèi)容是發(fā)揮移動視覺搜索優(yōu)勢的重要條件，因此描述和組織視覺資源時應(yīng)挖掘和揭示其中的人文內(nèi)涵。同時，移動視覺搜索理論研究中提出將關(guān)聯(lián)數(shù)據(jù)引入視覺資源組織的觀點對本文構(gòu)建模型的視覺資源組織層也有所啟示。

4.3 移動視覺搜索實現(xiàn)方式

本文案例中有兩種視覺搜索入口，一種是掃描二維碼圖片，另一種是直接拍攝搜索對象。二維碼圖片是一種機器可讀的編碼圖片，掃描二維碼的視覺搜索方式實際上是通過解碼二維碼中的文本數(shù)字等信息進行搜索，是一種較為初級的視覺搜索方式。SCARLET項目中，每本古籍特藏都有對應(yīng)的二維碼圖片，用戶通過掃描二維碼獲得古籍的數(shù)字化全文。直接拍攝搜索對象的方式更符合用戶對視覺搜索的想象，也更能體現(xiàn)視覺搜索的智能化，除SCARLET項目以外的案例均使用此方式。在公共文化服務(wù)領(lǐng)域的案例中，直接拍攝的搜索方式往往與增強現(xiàn)實技術(shù)結(jié)合使用。LibrARi、ShelvAR、Libagent、mobile AR等在通過攝像頭捕捉書籍圖像后，將搜索到的書號、館藏位置等虛擬文本直接顯示在捕捉到的真實書籍圖像旁邊。直接拍攝的搜索方式涉及到的一個關(guān)鍵問題是搜索對象的識別，因而需要描述圖像的語義特征。PhoneGuide即是從顏色強度和幾何結(jié)構(gòu)方面描述圖像中的展品特征，進而確定具體展品。

4.4 應(yīng)用與服務(wù)方式

根據(jù)本文案例，移動視覺搜索提供公共文化服務(wù)的方式主要體現(xiàn)在館藏管理和展品導(dǎo)覽兩方面，館藏管理服務(wù)一般應(yīng)用在圖書館。LibrARi、ShelvAR和Libagent等的主要功能是通過移動視覺搜索發(fā)現(xiàn)亂架書籍，從而為圖書館員的排架工作提供幫助。LibrARi 通過拍攝散落圖書的封面搜索該書在書架上的正確位置，幫助圖書館員重新上架；ShelvAR發(fā)現(xiàn)亂架書籍后會計算出最高效的重排方式，并用虛擬的問號圖形標注亂架書籍；Libagent和ShelvAR一樣，通過虛擬符號標記亂架書籍。博物館中的應(yīng)用案例通常利用移動視覺搜索進行展品導(dǎo)覽。傳統(tǒng)的展品導(dǎo)覽是通過人工講解、講解機或簡介卡片提供服務(wù)，而移動視覺搜索提供的導(dǎo)覽服務(wù)能同時提供文本、音視頻等多媒體信息，參觀者獲取信息更加主動、互動性更強。PhoneGuide以及鐘志鵬、Gongwen Xu開發(fā)的博物館導(dǎo)覽系統(tǒng)都是通過拍攝展品提供該展品的文本、音頻、視頻等多媒體解說。

5 基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型的體系結(jié)構(gòu)

綜合移動視覺搜索在公共文化服務(wù)領(lǐng)域的應(yīng)用案例分析，以及移動視覺搜索相關(guān)研究中提出結(jié)合關(guān)聯(lián)數(shù)據(jù)和情境感知理論的觀點，本文構(gòu)建了基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型（見圖1），引入關(guān)聯(lián)數(shù)據(jù)、情境感知、增強現(xiàn)實技術(shù)等，將移動視覺搜索應(yīng)用到公共文化服務(wù)中，實現(xiàn)智慧公共文化服務(wù)。模型分為四層架構(gòu)，包括視覺資源獲取層、視覺資源組織層、移動視覺搜索層和應(yīng)用服務(wù)層。

5.1 視覺資源獲取層

現(xiàn)有的公共數(shù)字文化資源為公共文化服務(wù)提供了豐富的視覺資源。圖書館、博物館等公共文化服務(wù)機構(gòu)建立的館藏資源數(shù)據(jù)庫中包含了大量經(jīng)過組織加工的結(jié)構(gòu)化數(shù)據(jù)，這為視覺大數(shù)據(jù)模塊采集視覺資源提供了便利。同時，通過集合圖書館、博物館、美術(shù)館等不同公共文化服務(wù)機構(gòu)的視覺資源，視覺大數(shù)據(jù)模塊也為融合多源機構(gòu)的視覺資源創(chuàng)造了條件。此外，視覺大數(shù)據(jù)模塊通過網(wǎng)站提供的API接口爬取數(shù)據(jù)，獲取廣泛的網(wǎng)絡(luò)開放存取資源，對公共文化視覺資源進行有效補充。情境信息的采集是移動視覺搜索與情境感知理論結(jié)合的要求，是促進公共文化服務(wù)智慧化的手段。情境感知模塊用于采集用戶情境信息，主要來源于用戶數(shù)據(jù)庫和移動終端的傳感裝置。用戶數(shù)據(jù)庫可以是圖書館、博物館等提供的用戶數(shù)據(jù)，也可以在用戶注冊環(huán)節(jié)進行收集后建庫；智能手機、平板電腦中的GPS可以采集用戶所處自然環(huán)境的情境信息，以及用戶與界面交互時的觸控操作等數(shù)據(jù)。

5.2 視覺資源組織層

視覺資源組織層的目的是利用關(guān)聯(lián)數(shù)據(jù)實現(xiàn)多源機構(gòu)視覺資源的融合互聯(lián)，同時實現(xiàn)視覺資源的高層語義揭示，最終形成視覺資源知識庫。視覺資源融合模塊是視覺資源知識庫的核心。首先要揭示視覺資源的語義內(nèi)容，可以采用機器識別與人工標注相結(jié)合的方法。利用支持向量機（SVM）、神經(jīng)網(wǎng)絡(luò)等機器學習算法自動識別顏色、幾何結(jié)構(gòu)等客觀的視覺特征，同時采用眾包的方法，發(fā)動用戶人工標注視覺資源的高層語義，從人文感受的角度揭示視覺資源特征；其次，應(yīng)用關(guān)聯(lián)數(shù)據(jù)實現(xiàn)不同來源的視覺資源之間的有機互聯(lián)。關(guān)聯(lián)數(shù)據(jù)使用資源描述框架（RDF），以三元組作為視覺資源語義描述的基本結(jié)構(gòu)，并使用統(tǒng)一資源定位符（URI）作為資源的唯一標識將不同公共文化機構(gòu)的數(shù)字化館藏資源關(guān)聯(lián)在一起；此外，還可以與網(wǎng)絡(luò)上大量的開放關(guān)聯(lián)數(shù)據(jù)集（Linked Open Data，LOD）如GeoNames、FOAF、DBpedia等互聯(lián)，形成一張強大的知識網(wǎng)絡(luò)。情境建模模塊是針對情境感知模塊收集的個人情境（如人口統(tǒng)計特征、興趣偏好、交互行為等）、社會情境（如教育背景、社交情況等）、自然情境（如地理位置、氣候天氣等）、設(shè)備情境（如設(shè)備類型、網(wǎng)絡(luò)情況等），通過社會網(wǎng)絡(luò)分析、聚類分析、情境計算等手段建立情景模型，形成情境信息知識庫，為后續(xù)移動視覺搜索的個性化推薦做支持。

5.3 移動視覺搜索層

移動視覺搜索相關(guān)技術(shù)研究顯示完整的視覺搜索過程由特征索引、特征匹配、搜索結(jié)果排序和搜索結(jié)果反饋四個部分組成，由此提出移動視覺搜索層的四個模塊。經(jīng)過視覺資源融合模塊對視覺資源進行語義描述和語義關(guān)聯(lián)后，特征索引模塊基于視覺資源知識庫對視覺資源建立特征索引。當用戶發(fā)起一次查詢時，將視覺對象的特征與索引庫特征進行相似性計算，完成特征匹配。綜合匹配效果以及用戶情境信息對搜索結(jié)果進行相關(guān)性排序，并反饋結(jié)果列表。搜索結(jié)果反饋模塊不僅包括匹配后的視覺對象，還結(jié)合視覺資源知識庫中的關(guān)聯(lián)網(wǎng)絡(luò)和用戶具體情境模型，個性化推薦與匹配對象關(guān)聯(lián)的文本、圖像、音視頻等多媒體信息。移動視覺搜索層的最終結(jié)果將提交至應(yīng)用服務(wù)層，作為不同服務(wù)模塊的基礎(chǔ)。

5.4 應(yīng)用服務(wù)層

應(yīng)用服務(wù)層是基于移動視覺搜索層的結(jié)果，結(jié)合其他新興技術(shù)手段，進一步提供的具體服務(wù)功能。隨著科技進步發(fā)展，新技術(shù)和設(shè)備的誕生將催生更多服務(wù)模塊，因此應(yīng)用服務(wù)層是一個不斷生長的有機體。根據(jù)已有研究和案例，本文模型僅列出三個服務(wù)模塊以示說明：移動導(dǎo)覽模塊、館藏管理模塊和虛擬體驗?zāi)K。此三類服務(wù)模塊均可引入增強現(xiàn)實技術(shù)，在真實圖像中疊加虛擬信息，從而提供沉浸式的體驗感。如在移動導(dǎo)覽時，用戶使用移動設(shè)備拍攝周邊街景后，設(shè)備自動播放歷史建筑、古跡遺址等人文景觀的語音介紹，并在拍攝畫面中顯示文字標注等；在館藏管理時，利用移動視覺搜索對亂架館藏和不在架館藏進行精準定位，用虛擬標記顯示館藏的正確位置。虛擬體驗?zāi)K還可與可穿戴設(shè)備結(jié)合，如用戶通過VR眼鏡觀看某件文物展品的修復(fù)過程，通過智能手套體驗親手翻閱古籍。

7 結(jié)語

國家“互聯(lián)網(wǎng)+”和“智慧城市”的發(fā)展戰(zhàn)略對公共文化服務(wù)的智慧化發(fā)展提出了要求。公共文化服務(wù)領(lǐng)域現(xiàn)有的大量視覺資源為移動視覺搜索應(yīng)用于智慧公共文化服務(wù)提供了豐富的資源支持，同時，也為不同公共文化服務(wù)機構(gòu)的視覺資源繼續(xù)融合互聯(lián)提供了機遇。用戶對信息資源高層語義表達的需求以及移動搜索習慣日益深入人心均推動了移動視覺搜索技術(shù)應(yīng)用到公共文化服務(wù)領(lǐng)域的進程。本文在深入分析公共文化服務(wù)領(lǐng)域的移動視覺搜索應(yīng)用案例的基礎(chǔ)上，結(jié)合關(guān)聯(lián)數(shù)據(jù)、情境感知理論提出基于移動視覺搜索技術(shù)的智慧公共文化服務(wù)模型，通過視覺資源獲取層、視覺資源組織層、移動視覺搜索層和應(yīng)用服務(wù)層的四層架構(gòu)，建立了移動視覺搜索應(yīng)用于智慧公共文化服務(wù)的體系結(jié)構(gòu)。該模型充分發(fā)揮移動視覺搜索“以圖搜圖”的優(yōu)勢，能夠發(fā)揮視覺資源的獨特價值，促使不同公共文化機構(gòu)視覺資源的融合，實現(xiàn)高層語義信息的表達，并適應(yīng)人們的移動搜索習慣，其具有廣闊的前景價值。

參考文獻：

[1] 中國網(wǎng)絡(luò)空間研究院.世界互聯(lián)網(wǎng)發(fā)展報告2017[EB/OL].[2018-03-08].http：//www.cac.gov.cn/1122128829_1513578929

3581n.pdf.

[2] Girod B，Chandrasekhar V，Chen D M，et al.Mobile Visual Search[J].IEEE Signal Processing Magazine，2011，28（4）：61-76.

[3] 張興旺，鄭聰，黃婷婷.基于大數(shù)據(jù)的視覺搜索應(yīng)用與組織模式研究[J].情報理論與實踐，2017，40（1）：104-109.

[4] 中國政府網(wǎng).政府工作報告（文字實錄）[EB/OL].[2018-03- 08].http：//www.gov.cn/premier/2018-03/05/content_5271083.htm.

[5] 賈佳，唐勝，謝洪濤，等.移動視覺搜索綜述[J].計算機輔助設(shè)計與圖形學學報，2017，29（6）：1007-1021.

[6] 段凌宇，黃鐵軍，高文.移動視覺搜索技術(shù)研究與標準化進展[J].信息通信技術(shù)，2012（6）：51-58.

[7] Zhao B，Zhao H W，Liu P P，et al.A New Mobile Visual Search System Based on the Human Visual System[J].Applied Mechanics & Materials，2013，461（461）：792-800.

[8] Liu W，Ma H，Qi H，et al.Deep learning hashing for mobile visual search[J].Eurasip Journal on Image & Video Processing，2017（1）：17.

[9] Gao K，Zhang Y，Zhang D，et al.Accurate off-line query expansion for large-scale mobile visual search[J].Signal Processing，2013，

93（8）：2305-2315.

[10] Kuo Y H，Hsu W H.Dehashing： Server-Side Context-Aware Feature Reconstruction for Mobile Visual Search[J].IEEE Transactions on Circuits & Systems for Video Technology，2016，27（1）：139-148.

[11] 齊云飛，趙宇翔，朱慶華.關(guān)聯(lián)數(shù)據(jù)在數(shù)字圖書館移動視覺搜索系統(tǒng)中的應(yīng)用研究[J].現(xiàn)代圖書情報技術(shù)，2017，1（1）：81-90.

[12] 劉木林，朱慶華，趙宇翔.基于關(guān)聯(lián)數(shù)據(jù)的數(shù)字圖書館移動視覺搜索框架研究[J].情報資料工作，2016（4）：6-10.

[13] 李晨暉，張興旺，秦曉珠.基于大數(shù)據(jù)的文化遺產(chǎn)數(shù)字圖書館移動視覺搜索機制建設(shè)研究[J].情報理論與實踐，2018，41（4）：137，143-148..

[14] 張興旺，李晨暉.數(shù)字圖書館移動視覺搜索機制建設(shè)的若干關(guān)鍵問題[J].圖書情報工作，2015，59（15）：42-48.

[15] 韓璽，何秀美，張珗，等.基于語義關(guān)聯(lián)的圖書館移動視覺搜索資源與服務(wù)聚合研究[J].現(xiàn)代情報，2017，37（10）：3-7.

[16] 韓璽，何秀美，張珗，等.基于情景感知的圖書館移動視覺搜索服務(wù)設(shè)計研究[J].圖書館學研究，2017（16）：63-68.

[17] 曾子明，周知.大數(shù)據(jù)環(huán)境下面向科研用戶的移動視覺搜索模型研究[J].情報理論與實踐，2017，40（8）：126-130.

[18] 史昱天，韓璽，朱慶華，等.國內(nèi)主流移動視覺搜索工具的比較研究[J].圖書館學研究，2017（21）：65-71.

[19] 馬騰騰，趙宇翔，朱慶華.國外移動視覺搜索產(chǎn)品的比較分析研究[J].圖書館雜志，2016（9）：81-88.

[20] 唐義.我國公共數(shù)字文化資源整合需求的調(diào)查分析[J].圖書情報工作，2015，59（11）：6-12.

[21] CNNIC.2016年中國網(wǎng)民搜索行為調(diào)查報告[EB/OL].[2018-03-08].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/ssbg/201801/

P020180109484661983457.pdf.

[22] John Rylands Library，The University of Manchester.SCARLET：Augmented Reality in Special Collections[EB/OL].[2018-03-

08].https：//archiveshub.jisc.ac.uk/features/SCARLET/index.html.

[23] Pradeep Siddappa.LibrARi[EB/OL].[2018-03-08].http：//www.pradeepsiddappa.com/design/librari/.

[24] Bo B，Brinkman S.AR in the library：A pilot study of multi-target acquisition usability[C].IEEE International Symposium on Mixed

and Augmented Reality.IEEE，2013：241-242.

[25] Shatte A，Holdsworth J，Lee I.Mobile augmented reality based context-aware library management system[J].Expert Systems with Applications，2014，41（5）：2174-2185.

[26] Chen D，Tsai S，Hsu C H，et al.Mobile augmented reality for books on a shelf[C].IEEE International Conference on Multimedia and Expo.IEEE Computer Society，2011：1-6.

[27] 鐘志鵬，王涌天，陳靖，等.一個基于移動視覺搜索技術(shù)的博物館導(dǎo)覽系統(tǒng)[J].計算機輔助設(shè)計與圖形學學報，2012，24（4）：555-562.

[28] Bruns E，Brombach B，Zeidler T，et al.Enabling Mobile Phones To Support Large-Scale Museum Guidance[J].IEEE Multimedia，2007，14（2）：16-25.

[29] Gongwen Xu，Xiaomei Li，Honglan Zhou，et al.The Mobile Visual Search Guiding System Based on SIFT[J].International Journal of Future Generation Communication and Networking，2016，9（6）：165-178.

作者簡介：董晶，女，武漢大學信息管理學院碩士研究生，研究方向：信息檢索；吳丹，女，武漢大學信息管理學院教授，博士生導(dǎo)師，研究方向：信息檢索、人機交互、用戶信息行為。