李 默（山東科技大學圖書館）

1 引言

隨著大數(shù)據(jù)時代的到來，智慧圖書館的數(shù)據(jù)信息資源不僅數(shù)量越來越龐大，而且載體類型也日益繁多，既有傳統(tǒng)的文本式數(shù)據(jù)，也越來越多地增加了圖像、視頻、3D 模型等多種類型的視覺信息資源，傳統(tǒng)的文本搜索方式已經(jīng)不適用于視覺資源的檢索利用。移動視覺搜索（Mobile Visual Search, MVS）技術(shù)的出現(xiàn)滿足了讀者快速準確地獲取視覺信息資源的需求，它是以移動智能終端獲取的視覺資源作為檢索對象，通過移動互聯(lián)網(wǎng)檢索視覺資源知識庫，最終得到讀者感興趣的關(guān)聯(lián)知識信息［1］?？梢灶A見，信息技術(shù)的不斷發(fā)展將使MVS 的信息分析、提取和檢索方法更具優(yōu)勢，更能契合讀者對多種類型信息資源的檢索需求。

然而，移動智能終端設(shè)備的快速擴大以及萬物智聯(lián)時代所帶來的海量數(shù)據(jù)處理需求，致使MVS 的進一步發(fā)展需要更可靠、更強大、更迅捷的數(shù)據(jù)存儲及智能處理能力。自第三次技術(shù)革命開始以來，信息技術(shù)一直是各行業(yè)、各領(lǐng)域不斷進步的推進器，但經(jīng)過幾十年的高速發(fā)展，電子器件結(jié)構(gòu)并沒有出現(xiàn)重大變革，只是提高和改善了電子器件的加工精度和材料特性。信息技術(shù)的長期發(fā)展需要尋找新的技術(shù)突破口，而生物體經(jīng)過幾十億年的進化及演化，形成了紛繁復雜又完美高效的組織結(jié)構(gòu)，為人類的科技創(chuàng)新提供了取之不盡用之不竭的知識源泉［2］。以控制論為基礎(chǔ)，仿生學應(yīng)運而生，它是一門有效應(yīng)用生物功能并在工程上實現(xiàn)的學科，是連接生物與技術(shù)的橋梁。仿生學的研究范圍很廣，主要包括力學仿生、化學仿生和神經(jīng)仿生等，其中化學仿生主要研究與模仿生物體中化合物合成以及能量轉(zhuǎn)換過程，神經(jīng)仿生則研究與模擬生物體中的信息處理過程。近年來，仿生學的研究得到迅速發(fā)展，在信息、控制、醫(yī)學、建筑、機械等多個領(lǐng)域取得了大量成果，也為MVS 的研究帶來了新的機遇和解決方案。綜上所述，為了滿足MVS 海量數(shù)據(jù)存儲以及數(shù)據(jù)智能處理的需求，本文將基于生物啟發(fā)的信息技術(shù)應(yīng)用于智慧圖書館MVS 中，構(gòu)建一個以化學仿生（DNA 數(shù)據(jù)存儲技術(shù)）和神經(jīng)仿生（神經(jīng)形態(tài)計算技術(shù)）為核心的MVS 服務(wù)體系框架，以促進智慧圖書館MVS 的實現(xiàn)和發(fā)展。

2 相關(guān)研究

2.1 智慧圖書館MVS

智慧圖書館是圖書館發(fā)展的高級階段，它利用智能信息技術(shù)來實現(xiàn)圖書館的智慧化管理，能夠為讀者提供全天候、泛在化、多形式及個性化的服務(wù)。綠色節(jié)能、便利高效、全面感知、立體互聯(lián)、以人為本是智慧圖書館的主要特征，而智慧圖書館MVS 則以滿足讀者日益增長的多種類型信息資源檢索需求為主要目標。自David 等在2009 年舉辦的首屆MVS 研討會上提出MVS 概念以來［3］，國內(nèi)外學者從不同視角開展了MVS 的相關(guān)研究，內(nèi)容包括MVS 的內(nèi)涵、研究方法、相關(guān)技術(shù)、應(yīng)用實踐等，其中MVS 在圖書館中的應(yīng)用研究吸引了許多學者的關(guān)注，并取得了一些研究成果。

Zhu 等研究了MVS 在數(shù)字圖書館中的作用機制和應(yīng)用模式，設(shè)計了包括資源構(gòu)建、資源組織、人機交互、服務(wù)模式及實際應(yīng)用5 個組成部分的數(shù)字圖書館MVS 體系結(jié)構(gòu)［4］。張興旺等對數(shù)字圖書館MVS 的基本流程、服務(wù)模式、服務(wù)框架進行了研究［5］，提出了一種領(lǐng)域?qū)虻?、自適應(yīng)的、可演化的數(shù)字圖書館MVS 引擎［6］。齊云飛、劉木林、韓璽等研究了關(guān)聯(lián)數(shù)據(jù)在數(shù)字圖書館MVS 系統(tǒng)中的應(yīng)用［7］，構(gòu)建了基于關(guān)聯(lián)數(shù)據(jù)的數(shù)字圖書館MVS 框架和基于語義關(guān)聯(lián)的數(shù)字圖書館MVS 資源多維度聚合模型［8-9］，并利用眾包的理念和方法來獲取數(shù)字圖書館MVS 資源［10］，還對基于MVS 的圖書館、檔案館、博物館資源融合服務(wù)模式進行了研究［11］。曾子明等則對智慧圖書館MVS 相關(guān)技術(shù)與方法開展了一系列研究，構(gòu)建了智慧圖書館MVS 服務(wù)模型及其技術(shù)框架［12］，提出了基于SoLoMo 的智慧圖書館MVS服務(wù)模式［13］，并將情境計算應(yīng)用于MVS 服務(wù)中，設(shè)計了融合情境的智慧圖書館MVS 服務(wù)模型［14］，搭建了基于用戶畫像的智慧圖書館個性化 MVS 及推薦服務(wù)模型［15］。上述研究拓展了MVS 技術(shù)在圖書館的應(yīng)用實踐，但研究內(nèi)容主要集中于視覺資源組織管理和圖書館MVS 服務(wù)模型創(chuàng)新，較少涉及如何更好地存儲視覺信息資源和提高視覺資源檢索效率問題。

2.2 DNA 數(shù)據(jù)存儲技術(shù)

云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)以及人工智能等信息技術(shù)的不斷發(fā)展，使得信息數(shù)據(jù)存儲量正在無限制地擴展和增加，國際數(shù)據(jù)公司IDC 預計到2025 年全球數(shù)據(jù)量將達到163ZB（1ZB=10244GB），數(shù)據(jù)量的快速增長將很快超過現(xiàn)有存儲器件容量的承受能力。另一方面，當前廣泛使用的硬盤、藍光、閃存等傳統(tǒng)數(shù)據(jù)存儲介質(zhì)在使用過程中會產(chǎn)生巨大的生產(chǎn)維護能耗，而且還存在存儲期限短、占用空間大、數(shù)據(jù)易丟失等缺點，因此亟須尋找一種新的數(shù)據(jù)存儲介質(zhì)。脫氧核糖核酸（DNA）作為一種天然的優(yōu)良存儲介質(zhì)，具有高存儲密度、低能耗、易復制以及安全穩(wěn)定等優(yōu)點［16］，以DNA 分子為存儲介質(zhì)的研究及其應(yīng)用得到了越來越多科學家的關(guān)注，DNA 數(shù)據(jù)存儲技術(shù)逐漸成為全球的研究熱點，它是生物技術(shù)和信息技術(shù)共同發(fā)展的結(jié)果。

DNA 數(shù)據(jù)存儲技術(shù)利用人工合成的DNA 生物大分子作為介質(zhì)，由A、T、C、G 四種核酸堿基對應(yīng)二進制數(shù)據(jù)進行編碼，將文檔、圖片、聲音和視頻等信息轉(zhuǎn)化為相應(yīng)的DNA 序列進行存儲和讀取，其流程主要包括編碼、合成、存儲、檢索、測序、解碼6 個步驟［17］。使用DNA進行數(shù)據(jù)存儲的理念最早可追溯到1964 年Wiener［18］和 Neiman［19］提出的基因記憶概念。1988 年Davis 首次將一幅35bit 的黑白圖像成功編碼至DNA 中，實驗性地證明了DNA 數(shù)據(jù)存儲概念的可行性［20］。1999 年 Clelland 等成功恢復了隱藏在DNA 序列中的字符信息［21］。2012 年Church 等利用DNA 分子實現(xiàn)了650KB 的數(shù)據(jù)存儲［22］，使得DNA 數(shù)據(jù)存儲真正成為可能；隨后Erlich 等提出可在1g 的DNA 分子內(nèi)存儲215PB（1PB=10243GB）的信息［23］。陳為剛等合成了數(shù)據(jù)量為3MB 的音視頻文件，并實現(xiàn)了面向DNA介質(zhì)的高密度存儲［24］。而隨著DNA 合成技術(shù)和DNA 測序技術(shù)的進步和完善，DNA 數(shù)據(jù)存儲正逐步推出商業(yè)服務(wù)，微軟公司在2016 年將200MB存入DNA 后［25］，已計劃建立DNA 數(shù)據(jù)存儲系統(tǒng)，實現(xiàn)云數(shù)據(jù)在DNA 中的存儲。另外，還有許多學者對DNA 數(shù)據(jù)庫的設(shè)計及構(gòu)建技術(shù)進行了研究，2002 年Reif 等提出了一種基于數(shù)據(jù)塊的DNA 存儲結(jié)構(gòu)，并構(gòu)建了一個規(guī)模為127 的DNA數(shù)據(jù)庫［26］；Yamamoto 等則提出了一種基于嵌套PCR 的存儲方式，建立了一個存儲容量為16.8MB的數(shù)據(jù)庫［27］；2018 年Stewart 等設(shè)計了一種基于關(guān)聯(lián)搜索的圖像DNA 存儲數(shù)據(jù)庫［28］。

DNA 數(shù)據(jù)存儲技術(shù)主要適用于存儲期限較長、數(shù)據(jù)量增長較快、存儲環(huán)境比較穩(wěn)定的場景，可廣泛應(yīng)用于圖書館、檔案館、博物館、影視公司等多類型信息長期存儲機構(gòu)，也適用于MVS中海量數(shù)據(jù)的存儲與傳遞，因此在智慧圖書館中MVS 有巨大的應(yīng)用前景。

2.3 神經(jīng)形態(tài)計算技術(shù)

未來信息技術(shù)的發(fā)展需要實時訪問和利用大量的數(shù)據(jù)和信息，當前主要是依靠計算機的信息處理能力來完成的，但隨著需求的急劇增長，計算機的功率、速度和規(guī)模正在成為信息技術(shù)進步的障礙。而生物神經(jīng)科學的發(fā)展促使人們對人腦的認識逐步加深，越來越多的科學家認為人腦的信息處理能力遠超標準計算機，使得神經(jīng)形態(tài)計算技術(shù)逐漸成為人們關(guān)注的焦點，其設(shè)計思想就是模擬人腦的組織結(jié)構(gòu)和信息處理方式，使計算機能像大腦一樣具有感知、適應(yīng)和學習能力，并在降低計算功耗的同時加快響應(yīng)速度。

生物神經(jīng)科學研究發(fā)現(xiàn)大腦的所有活動都是由神經(jīng)元之間的脈沖信號驅(qū)動的，而現(xiàn)有計算機的計算都是時鐘驅(qū)動的，神經(jīng)形態(tài)計算與現(xiàn)有的馮·諾依曼計算機體系結(jié)構(gòu)完全不同，從而引發(fā)了包括脈沖神經(jīng)網(wǎng)絡(luò)、突觸器件、存算一體、類腦芯片等多個方面的研究。1997 年，Maass 提出了基于脈沖神經(jīng)元的第三代神經(jīng)網(wǎng)絡(luò)——脈沖神經(jīng)網(wǎng)絡(luò) （Spiking Neural Network, SNN）［29］。SNN把脈沖神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)的基本計算單元，并以計算效率高、編碼機制多樣、事件驅(qū)動、具有時空領(lǐng)域神經(jīng)元動力學特性等優(yōu)勢引起了學者關(guān)注［30］，其主要由神經(jīng)元模型、突觸脈沖時間依賴可塑性（STDP）理論［31］、神經(jīng)元脈沖編碼方式以及神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)等要素組成。而在生物神經(jīng)系統(tǒng)中突觸連接了不同神經(jīng)元，人工突觸的研究主要是將納米材料加工為納米器件，使得納米器件在光電作用下表現(xiàn)出類似于突觸的生物行為［32］，再將多個上述突觸模擬器件組網(wǎng)形成神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)神經(jīng)形態(tài)計算。存算一體是模仿人腦存儲和計算在同一位置完成的特點將存儲和計算合為一體，納米憶阻器的出現(xiàn)使存算一體成為可能［33］。納米憶阻器是一種有記憶功能的非線性電阻，它能保持過去的歷史電導狀態(tài)，并在新輸入電流的作用下逐漸被調(diào)制到新的狀態(tài)，其被廣泛應(yīng)用于神經(jīng)元構(gòu)建、非易失性存儲等方面，是硬件實現(xiàn)神經(jīng)網(wǎng)絡(luò)突觸的最好方式。類腦芯片是神經(jīng)形態(tài)計算在硬件層面的嘗試，它既保留了成熟的數(shù)字設(shè)計技術(shù)，又具有神經(jīng)形態(tài)計算的特征，近年來已經(jīng)有多款類腦芯片出現(xiàn)，比較著名的有 IBM 的 TrueNorth［34］、Intel 的 Loihi［35］、高通的Zeroth 和清華大學的天機芯［36］等芯片。類腦芯片雖然本質(zhì)上還是數(shù)字設(shè)計電路，但由于包含了神經(jīng)計算核，從而在邏輯層面上能夠?qū)崿F(xiàn)神經(jīng)形態(tài)計算。

神經(jīng)形態(tài)計算是一種更加高效、快速的計算架構(gòu)，基于神經(jīng)形態(tài)計算技術(shù)的圖像傳感器能夠同時獲取并分析圖像，達到感測與計算相結(jié)合，在MVS 領(lǐng)域能夠大大降低圖像識別、分類、檢索的計算時間和功耗需求，實現(xiàn)極其快速的MVS 圖像處理，為MVS 圖像判讀開辟了一個全新的方向。

3 生物啟發(fā)信息技術(shù)在智慧圖書館MVS 中的應(yīng)用可行性及優(yōu)勢分析

當前智慧圖書館MVS 實踐應(yīng)用中主要面臨兩大問題：一是要應(yīng)對海量、多源異構(gòu)MVS 資源的數(shù)字化存儲需求，為提供全面優(yōu)質(zhì)的MVS 服務(wù)打下數(shù)據(jù)基礎(chǔ)；二是要對MVS 海量數(shù)據(jù)進行實時處理和高效分析，降低MVS 響應(yīng)時延和數(shù)據(jù)計算功耗，為智慧圖書館MVS 奠定計算基礎(chǔ)。為此，將DNA 數(shù)據(jù)存儲和神經(jīng)形態(tài)計算融合進智慧圖書館MVS 服務(wù)中，可以促進未來MVS 研究和實踐的良性發(fā)展。

3.1 滿足MVS 數(shù)據(jù)存儲需求

在智慧圖書館MVS 數(shù)據(jù)采集過程中，視覺資源數(shù)據(jù)的增長速度極快，導致數(shù)據(jù)存儲空間需求不斷增大，存儲復雜度不斷提高。而DNA 數(shù)字信息存儲密度極高，DNA 分子單位質(zhì)量的數(shù)字信息存儲潛力是傳統(tǒng)基于半導體和電磁存儲手段存儲潛力的4,200 億倍，理論上1000gDNA 分子就能夠滿足2,040 年時的全球信息存儲需求。另一方面，DNA 數(shù)字信息存儲壽命極長，作為自然界最穩(wěn)定的生物分子之一，DNA 分子在自然狀態(tài)下的信息降解速度極慢，在適宜環(huán)境下的數(shù)據(jù)存儲壽命可達幾百到幾千年，大大優(yōu)于傳統(tǒng)存儲介質(zhì)幾十年的存儲壽命。此外，DNA 分子還具有易于復制的優(yōu)勢，使用聚合酶鏈式反應(yīng)（PCR）技術(shù)可實現(xiàn)短時間內(nèi)低成本地復制大量數(shù)據(jù)，能大大提高MVS 海量數(shù)據(jù)的更新維護效率，而且DNA 雜交及反應(yīng)過程還可用于對MVS 視覺信息資源執(zhí)行相似性搜索。綜上所述，DNA 數(shù)據(jù)存儲以其信息存儲密度極高、存儲壽命極長、安全可靠、數(shù)據(jù)易復制等特點為MVS 海量視覺信息資源提供了新的存儲方式，很好地滿足了MVS 應(yīng)用平臺和實踐空間快速發(fā)展的數(shù)字保存需求。

3.2 提升MVS 服務(wù)計算能力

智慧圖書館MVS 服務(wù)具有基礎(chǔ)數(shù)據(jù)量大、實時性要求高、本地化需求強的特征，對底層設(shè)備的計算能力提出了極高的要求，雖然過去幾十年中計算機的性能得到了極大的提高，但隨著時間的推移，MVS 平臺數(shù)據(jù)量和計算需求呈指數(shù)增長，現(xiàn)有設(shè)備的計算能力將無法滿足日益增長的MVS 計算需求。神經(jīng)形態(tài)計算作為新型的計算方式，可以解決MVS 平臺面臨的困境，為MVS 用戶提供更加先進的智能服務(wù)。如，基于神經(jīng)網(wǎng)絡(luò)的圖像分類算法在MVS 視覺資源分類任務(wù)上表現(xiàn)優(yōu)異，但傳統(tǒng)神經(jīng)網(wǎng)絡(luò)存在特征學習能力不強、過擬合和高功耗等缺點，而基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像分類算法可以實現(xiàn)MVS 在低功耗環(huán)境下的視覺資源分類。另外，神經(jīng)形態(tài)計算還為MVS 探索不同的訓練和學習算法提供了計算支撐，類似于GPU 對于深度神經(jīng)網(wǎng)絡(luò)的影響，類腦芯片對提高脈沖神經(jīng)網(wǎng)絡(luò)的性能也會產(chǎn)生積極的影響，實現(xiàn)MVS 訓練和學習方法的快速模擬，提高MVS 服務(wù)應(yīng)用的開發(fā)速度。而神經(jīng)形態(tài)計算的存算一體特性能將計算嵌入存儲單元中，在存儲和讀取數(shù)據(jù)的同時完成計算，減少了MVS 數(shù)據(jù)計算過程中的時間和帶寬耗費，可以大大提升MVS 服務(wù)請求的響應(yīng)速度，滿足MVS 用戶快速高效獲取視覺資源的需求。

3.3 緩解MVS 平臺異構(gòu)問題

從資源、服務(wù)、網(wǎng)絡(luò)、計算等多個方面來看，智慧圖書館MVS 平臺存在著數(shù)據(jù)異構(gòu)、服務(wù)異構(gòu)、網(wǎng)絡(luò)異構(gòu)、計算異構(gòu)等多種類型的異構(gòu)問題，如何消除或緩解MVS 平臺異構(gòu)問題是智慧圖書館能否有效推進MVS 服務(wù)的關(guān)鍵。首先，MVS 視覺資源具有多類型和非結(jié)構(gòu)化的特點，包括大量的圖像、文本、視頻、3D 模型等異構(gòu)數(shù)據(jù)，數(shù)據(jù)異構(gòu)是MVS 進行數(shù)據(jù)整理、存儲、分析、管理、檢索的難點和重點，而基于DNA 存儲技術(shù)建立的MVS 數(shù)據(jù)庫可對異構(gòu)數(shù)據(jù)進行重構(gòu)，實現(xiàn)視覺資源數(shù)據(jù)的歸一化。其次，隨著MVS 服務(wù)多樣化和用戶個性化的發(fā)展趨勢，MVS 平臺需要具備并行處理多個復雜檢索請求的能力，并將檢索結(jié)果在移動終端、PC 機、物聯(lián)網(wǎng)等多種設(shè)備上以多維度方式進行展示。另外，網(wǎng)絡(luò)技術(shù)的飛速發(fā)展產(chǎn)生了異構(gòu)網(wǎng)絡(luò)，它由多種網(wǎng)絡(luò)接入技術(shù)組成，可提供多種接入方式并支持MVS 終端無縫移動，而隨著MVS 用戶數(shù)的不斷增加，必然會帶來MVS 異構(gòu)網(wǎng)絡(luò)接入環(huán)境的高動態(tài)性，需要建立多模自適應(yīng)的MVS 網(wǎng)絡(luò)接入選擇機制，保證MVS 用戶終端始終接入到最適合的網(wǎng)絡(luò)進行視覺資源檢索。因此，針對上述MVS 不同計算任務(wù)之間存在的并行性需求，可以構(gòu)建基于神經(jīng)形態(tài)計算的異構(gòu)計算架構(gòu)，兼顧計算任務(wù)兼容性和強大并行計算能力，使MVS 并行計算任務(wù)類型與計算芯片類型相匹配，為緩解MVS 平臺異構(gòu)問題提供解決方案。

4 基于生物啟發(fā)信息技術(shù)的智慧圖書館MVS 體系架構(gòu)

針對智慧圖書館MVS 的特點和需求，本文將DNA 數(shù)據(jù)存儲和神經(jīng)形態(tài)計算融入MVS 服務(wù)體系中，構(gòu)建了基于生物啟發(fā)信息技術(shù)的智慧圖書館MVS 體系架構(gòu)（見圖1），該體系架構(gòu)主要由資源采集層、數(shù)據(jù)處理層、MVS 業(yè)務(wù)層、用戶交互層四個層次組成。

圖1 基于生物啟發(fā)信息技術(shù)的智慧圖書館MVS 體系架構(gòu)

4.1 資源采集層

資源采集層通過不同渠道和途徑獲取多源異構(gòu)視覺資源數(shù)據(jù)，數(shù)據(jù)獲取方法主要采用網(wǎng)絡(luò)開放存取、數(shù)據(jù)庫接口和用戶行為分析三種方式。在智慧圖書館MVS 系統(tǒng)中，網(wǎng)絡(luò)開放存取方式采集的數(shù)據(jù)不僅包括網(wǎng)絡(luò)免費學術(shù)文獻資料，還包括使用網(wǎng)絡(luò)爬蟲技術(shù)或與其他機構(gòu)合作得到的視覺資源數(shù)據(jù)，如流媒體數(shù)據(jù)、電子圖書、在線書評等。數(shù)據(jù)庫接口是指以API 數(shù)據(jù)接口形式從第三方平臺數(shù)據(jù)庫得到的數(shù)據(jù)，主要通過授權(quán)許可或購買的方式收割到本系統(tǒng)數(shù)據(jù)庫中，包括館藏數(shù)據(jù)、書目數(shù)據(jù)、流通數(shù)據(jù)、讀者數(shù)據(jù)、網(wǎng)站數(shù)據(jù)等。用戶行為分析主要是獲得MVS 用戶的活動軌跡數(shù)據(jù)以及與系統(tǒng)交互產(chǎn)生的數(shù)據(jù)，活動軌跡數(shù)據(jù)包括用戶無線網(wǎng)絡(luò)訪問數(shù)據(jù)、空間移動數(shù)據(jù)、定位導航數(shù)據(jù)、活動參與數(shù)據(jù)等，交互數(shù)據(jù)則是用戶在與MVS 系統(tǒng)交互過程中產(chǎn)生的各種過程和結(jié)果數(shù)據(jù)，如視覺資源訪問數(shù)據(jù)、MVS 檢索日志、用戶社區(qū)交流數(shù)據(jù)等。以上幾種資源采集方式獲得的數(shù)據(jù)包括圖片、視頻、音頻、3D 模型、文本等多種類型，而根據(jù)不同數(shù)據(jù)類型的特點，視覺資源采集方式也應(yīng)有所不同，其中網(wǎng)絡(luò)開放存取可根據(jù)需要定期采集所需數(shù)據(jù)，數(shù)據(jù)庫接口和用戶行為分析則應(yīng)盡量采用實時采集的方法，為后續(xù)的數(shù)據(jù)分析打下基礎(chǔ)。

4.2 數(shù)據(jù)處理層

采集大規(guī)模的視覺資源數(shù)據(jù)后，首先需要對所采集的異構(gòu)視覺資源數(shù)據(jù)進行預處理，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)集成和數(shù)據(jù)規(guī)約等步驟方法。數(shù)據(jù)清洗主要是處理視覺數(shù)據(jù)的各種異常情況，通過填充遺漏數(shù)據(jù)、識別清除異常數(shù)據(jù)、光滑噪聲數(shù)據(jù)等操作實現(xiàn)數(shù)據(jù)格式的標準化，清洗掉錯誤數(shù)據(jù)和重復數(shù)據(jù)。在數(shù)據(jù)轉(zhuǎn)換階段，通過平滑聚集、數(shù)據(jù)規(guī)范化、數(shù)據(jù)概化等方式實現(xiàn)視覺數(shù)據(jù)歸一化。數(shù)據(jù)集成則是將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來，增大樣本數(shù)據(jù)量，建立視覺資源數(shù)據(jù)倉庫。數(shù)據(jù)歸約可以得到視覺數(shù)據(jù)集的歸約表示，目的是減少數(shù)據(jù)量、刪除冗余信息、降低數(shù)據(jù)維度，最終降低視覺數(shù)據(jù)分析所需的計算時間。異構(gòu)數(shù)據(jù)預處理是數(shù)據(jù)存儲的重要前提，因此需要制定統(tǒng)一的數(shù)據(jù)預處理標準，為后續(xù)的DNA 數(shù)據(jù)存儲和數(shù)據(jù)分析做準備。

視覺數(shù)據(jù)經(jīng)過預處理后，需要借助DNA 數(shù)據(jù)存儲技術(shù)存儲視覺資源大數(shù)據(jù)。DNA 數(shù)據(jù)存儲流程主要包括數(shù)據(jù)編碼寫入、數(shù)據(jù)保存和數(shù)據(jù)解碼讀取三個部分。其中，數(shù)據(jù)編碼寫入又分為DNA編碼和DNA 合成兩個步驟，DNA 編碼是利用計算機算法將需要存儲的視覺資源信息映射成DNA堿基序列，對于不同的視覺資源類型應(yīng)采用不同的DNA 編碼算法，在加入一些冗余信息后，將DNA 編碼序列轉(zhuǎn)化為DNA 堿基序列，然后通過DNA 合成將DNA 堿基序列逐個連接形成DNA鏈，由于視覺資源信息量非常龐大，需要合成大量的DNA 堿基序列，可以采用基于陣列的合成方法并行合成大量DNA 序列。數(shù)據(jù)保存則是選擇合適的載體將合成的DNA 序列進行存儲并形成DNA 樣本庫，然后基于這些DNA 樣本庫構(gòu)建一個大型的視覺資源數(shù)據(jù)存儲系統(tǒng)。數(shù)據(jù)解碼讀取的關(guān)鍵技術(shù)是解碼技術(shù)，它是DNA 編碼的逆過程，當接收到數(shù)據(jù)讀取請求后，首先對相應(yīng)的DNA 樣本庫進行物理檢索和采樣，而為了實現(xiàn)DNA 數(shù)據(jù)存儲中的隨機存取，解碼前需要先進行PCR 復制，擴增得到多個DNA 片段副本，然后對DNA 副本進行測序，產(chǎn)生一組DNA 堿基序列，再經(jīng)過糾錯、去冗余、解碼，最終這些DNA 堿基序列被翻譯成真實的視覺資源數(shù)據(jù)。

在DNA 數(shù)據(jù)存儲的基礎(chǔ)上，采用多種數(shù)據(jù)挖掘和分析技術(shù)對視覺數(shù)據(jù)進行分析建模，以支持MVS 業(yè)務(wù)層檢索服務(wù)的開展。如可通過數(shù)據(jù)挖掘、機器學習、自然語言處理等大數(shù)據(jù)和人工智能技術(shù)對視覺數(shù)據(jù)間的語義關(guān)系進行標注，建立各種類型視覺數(shù)據(jù)間的語義聯(lián)系，并構(gòu)建基于視覺大數(shù)據(jù)的數(shù)據(jù)分析模型和基于用戶畫像的用戶模型。數(shù)據(jù)分析與建模是實現(xiàn)精確化MVS 服務(wù)的數(shù)據(jù)基礎(chǔ)，并為圖書館用戶提供個性化的MVS 服務(wù)提供支持。

4.3 MVS 業(yè)務(wù)層

MVS 業(yè)務(wù)層基于數(shù)據(jù)處理層提供的視覺數(shù)據(jù)信息，采用相應(yīng)的MVS 技術(shù)為用戶提供與其查詢意圖相符的檢索結(jié)果，它是智慧圖書館MVS系統(tǒng)的關(guān)鍵和核心。根據(jù)MVS 業(yè)務(wù)邏輯，將MVS 業(yè)務(wù)層劃分為MVS 需求處理、MVS 任務(wù)執(zhí)行與MVS 服務(wù)組合三個模塊。MVS 需求處理模塊主要負責為MVS 檢索系統(tǒng)做好數(shù)據(jù)準備工作，包括檢索視覺對象ROI 檢測、視覺資源特征提取、文本資源語義分析以及用戶當前情景信息計算。其中，ROI 檢測是檢索視覺對象處理的重要環(huán)節(jié)，其主要包括三個功能步驟：首先是檢索視覺對象預處理功能，通過濾波器增強檢索視覺對象對比度，提高檢索視覺對象中目標像素的顯著性；然后是ROI 提取功能，利用特征修訂算法使提取的ROI 與背景干擾物有效分離，并采用增量計算提高ROI 提取效率；最后對ROI 進行下游處理，基于目標空間對稱特性和時序變化特性設(shè)計過濾器，濾除掉虛假ROI。特征提取則采用基于脈沖神經(jīng)網(wǎng)絡(luò)的分類算法來處理視覺資源數(shù)據(jù)，而且對于不同類型的視覺資源數(shù)據(jù)需要采用不同的特征提取方式。語義分析主要是對視覺資源數(shù)據(jù)中的文本信息進行處理，利用神經(jīng)形態(tài)計算算法得到文本信息的語義向量表示，并且通過采用不同的學習算法捕捉到更加全面的文本語義信息。情境計算用于計算識別用戶的情境語義信息，通過融合隱情境表示和清晰情境信息構(gòu)建用戶情境模型，基于情境模型可以計算得到用戶情境特征向量。

MVS 任務(wù)執(zhí)行模塊則根據(jù)MVS 需求處理模塊提供的信息，采用神經(jīng)形態(tài)計算算法和技術(shù)來提高MVS 計算的響應(yīng)速度，生成符合用戶查詢意圖的檢索結(jié)果，其主要由關(guān)聯(lián)分析、一致性檢驗、相似度計算、資源匹配幾個功能組成。關(guān)聯(lián)分析是在視覺數(shù)據(jù)資源特征提取和語義分析的基礎(chǔ)上，對視覺資源和文本資源進行語義關(guān)聯(lián)，實現(xiàn)MVS的資源信息快速定位。從MVS 需求處理模塊會得到用戶情境信息的分布式特征向量表示和基于用戶ROI 加權(quán)處理的檢索視覺對象特征向量表示，而用戶情境特征向量和視覺資源特征向量都要先進行幾何一致性檢驗，然后才能作為視覺資源檢索的數(shù)據(jù)依據(jù)。視覺資源相似度則通過計算檢索視覺對象與在庫視覺資源特征之間的距離得到，先將用戶情境特征向量和檢索視覺對象特征向量合為一個定長向量，再計算此定長向量與在庫視覺資源特征向量之間的余弦距離，得到的值即為視覺資源相似度。資源匹配根據(jù)相似度計算結(jié)果得到相似視覺資源，首先設(shè)定一個視覺資源相似匹配度閾值，其次對超過匹配度閾值的在庫視覺資源進行語義關(guān)聯(lián)匹配，最后得到包含多種數(shù)據(jù)類型的關(guān)聯(lián)視覺資源。

MVS 服務(wù)組合模塊是在MVS 任務(wù)執(zhí)行基礎(chǔ)之上確立相應(yīng)的服務(wù)組合，完成最終的視覺檢索功能，并為用戶交互層提供服務(wù)與應(yīng)用接口，主要實現(xiàn)檢索優(yōu)化、結(jié)果排序、多模態(tài)輸出等功能。檢索優(yōu)化采用神經(jīng)形態(tài)計算算法來提升MVS 效率，先為每個MVS 請求分別建立對應(yīng)的多個線程，然后各個線程將該MVS 請求下的視覺數(shù)據(jù)寫入到對應(yīng)的存儲文件中，再利用神經(jīng)形態(tài)計算存算一體的特性在讀取存儲信息的同時執(zhí)行MVS 操作，利用多線程并行執(zhí)行和多存儲信息并行讀取的方式提高檢索效率。結(jié)果排序是在完成基于神經(jīng)形態(tài)計算的視覺資源相似度計算之后，對檢索得到的目標視覺資源按照相似度進行降序排列，將相似度較高的視覺資源作為檢索結(jié)果推送給用戶。多模態(tài)輸出將檢索結(jié)果表示成不同形態(tài)的數(shù)據(jù)格式，利用文本、圖像、音頻、視頻等多種數(shù)據(jù)格式描述檢索結(jié)果，在MVS 系統(tǒng)中采用基于脈沖神經(jīng)網(wǎng)絡(luò)的機器學習算法對多模態(tài)視覺數(shù)據(jù)進行綜合處理，生成一段對多模態(tài)視覺數(shù)據(jù)綜合之后的文本摘要。

4.4 用戶服務(wù)層

在MVS 業(yè)務(wù)層完成檢索任務(wù)后，用戶服務(wù)層就可以調(diào)用相應(yīng)的功能模塊，為用戶提供智慧化和個性化的服務(wù)。智慧圖書館MVS 系統(tǒng)主要提供移動服務(wù)和應(yīng)用，因此用戶需要通過無線網(wǎng)絡(luò)環(huán)境與MVS 系統(tǒng)進行交互，而隨著無線網(wǎng)絡(luò)（5G、6G、Wi-Fi、RFID、藍牙等） 的飛速發(fā)展，MVS系統(tǒng)面向用戶密集終端，需要具有大吞吐量、廣連接和實時處理海量視覺數(shù)據(jù)的網(wǎng)絡(luò)通信能力。異構(gòu)無線網(wǎng)絡(luò)環(huán)境優(yōu)化模塊主要功能是使用戶設(shè)備能夠選擇正確的網(wǎng)絡(luò)，并對多種頻譜接入、多種接入網(wǎng)絡(luò)和多種新興技術(shù)構(gòu)成的異構(gòu)無線網(wǎng)絡(luò)通信效率進行優(yōu)化，將神經(jīng)形態(tài)計算技術(shù)應(yīng)用于異構(gòu)無線網(wǎng)絡(luò)優(yōu)化模塊，可以實現(xiàn)通信計算一體化，構(gòu)建感知、通信與計算三位一體的新型無線網(wǎng)絡(luò)環(huán)境，解決MVS 系統(tǒng)無線通信的信道估計、資源分配、信號處理和收發(fā)器設(shè)計等問題，大大降低異構(gòu)無線網(wǎng)絡(luò)選擇復雜度。

用戶MVS 服務(wù)模塊使用戶可以在移動終端實現(xiàn)MVS 管理、服務(wù)、利用等個性化功能的切換，建立用戶與MVS 系統(tǒng)之間聯(lián)系的橋梁，其主要包括個性化界面、社區(qū)交流、評價反饋等功能。個性化界面使用戶可以按個人需求定制MVS 界面風格和布局，并根據(jù)用戶情境特征推送檢索結(jié)果展示界面，另外還提供個人信息管理、視覺資源標注、主題導航、自定義檢索推理規(guī)則等功能。社區(qū)交流是用戶在MVS 系統(tǒng)中的知識交流平臺，特別是當用戶沒有檢索到需要的視覺資源時，可以在線求助其他用戶，也可以和社區(qū)中的領(lǐng)域?qū)＜疫M行溝通，實現(xiàn)社區(qū)內(nèi)視覺資源的共用共享。評價反饋用于收集用戶評價信息，根據(jù)用戶反饋信息得到用戶特征的隱表示，然后結(jié)合用戶的個人信息和情境信息，不斷完善用戶個性化需求模型，為MVS 個性化推薦提供數(shù)據(jù)支持。

MVS 系統(tǒng)服務(wù)模塊的功能是將檢索到的視覺資源提供給用戶瀏覽，使用戶能實時獲取感興趣的視覺資源，主要包括可視化展示、智能推薦、沉浸式導覽等功能?？梢暬故臼菍z索結(jié)果多模態(tài)輸出后進行的多方面立體展示，并建立各模態(tài)視覺資源之間的關(guān)聯(lián)關(guān)系，用戶還可以通過與MVS 系統(tǒng)交互的方式瀏覽各種視覺資源信息。智能推薦是在檢索結(jié)果排序的基礎(chǔ)上，結(jié)合用戶檢索行為信息和情境信息向用戶推送個性化視覺資源，并能根據(jù)用戶的評價反饋和社區(qū)交流信息分析用戶需求偏好，主動推薦用戶可能感興趣但沒有瀏覽過的不同類型視覺資源信息。沉浸式導覽利用專門設(shè)備（頭盔、眼鏡、曲面屏、投影儀等）為用戶提供虛擬環(huán)境體驗，通過檢測用戶情境信息的變化為用戶展示當前視覺關(guān)注物體的關(guān)聯(lián)信息，如3D 模型、相關(guān)視頻和音頻、文本描述等，達到用戶身臨其境了解MVS 目標信息的目的。

5 基于生物啟發(fā)信息技術(shù)的智慧圖書館MVS 研究展望

大數(shù)據(jù)和信息技術(shù)的發(fā)展使得MVS 用戶的需求不斷提升，而基于生物啟發(fā)信息技術(shù)的出現(xiàn)為MVS 研究和應(yīng)用開辟了新的道路。其中，DNA 數(shù)據(jù)存儲技術(shù)為MVS 存儲空間和存儲時間問題提供了新的解決方案，神經(jīng)形態(tài)計算技術(shù)則在降低MVS 計算能耗的同時提升了MVS 計算能力。雖然當前國內(nèi)外學者在相關(guān)技術(shù)領(lǐng)域已經(jīng)取得了一些研究成果，但DNA 數(shù)據(jù)存儲和神經(jīng)形態(tài)計算在智慧圖書館MVS 系統(tǒng)中的應(yīng)用仍處于初始階段，還需要解決以下幾個方面的問題。

5.1 DNA 數(shù)據(jù)存儲在MVS 應(yīng)用中面臨的挑戰(zhàn)及發(fā)展趨勢

從DNA 數(shù)據(jù)存儲過程來看，編碼技術(shù)是DNA 數(shù)據(jù)存儲的核心問題，研究高效魯棒的編碼理論和方案將有望提高現(xiàn)有DNA 存儲技術(shù)的存儲密度，減少DNA 存儲合成、PCR 擴增及測序過程中的信息冗余及誤差。另外，目前DNA 合成及測序技術(shù)成本還太高，用DNA 存儲1TB 數(shù)據(jù)的成本比磁盤高7—8 個數(shù)量級，但在智慧圖書館MVS 系統(tǒng)中，海量視覺資源數(shù)據(jù)可通過使用更大的合成基質(zhì)和更大的DNA 批次來消減成本，同時研究新的合成和測序技術(shù)可以為DNA 數(shù)據(jù)存儲在MVS 中的應(yīng)用奠定更堅實的技術(shù)基礎(chǔ)。最后，數(shù)據(jù)存入DNA 以及從DNA 中讀取數(shù)據(jù)都需要花費時間，并且堿基序列越長則耗費時間越多，而在MVS 系統(tǒng)中DNA 數(shù)據(jù)存儲技術(shù)需要具有數(shù)據(jù)隨機訪問和內(nèi)容重寫功能，當前使用PCR 擴增技術(shù)能夠加快DNA 數(shù)據(jù)讀取速度，但與磁介質(zhì)存儲讀取速度相比仍有差距，因此對基于DNA 層次上的信息檢索和數(shù)據(jù)隨機訪問技術(shù)需要進一步的研究。

5.2 神經(jīng)形態(tài)計算在MVS 應(yīng)用中面臨的挑戰(zhàn)及發(fā)展趨勢

以神經(jīng)形態(tài)計算為主導的類腦芯片計算能力仍有待提高，需要進一步研究與類腦芯片相適配的模型、架構(gòu)和算法，通過發(fā)展脈沖神經(jīng)網(wǎng)絡(luò)計算模型，增強類腦芯片神經(jīng)形態(tài)計算模塊的任務(wù)處理能力，提升它在MVS 系統(tǒng)中的計算通用性。另一方面，目前使用的神經(jīng)形態(tài)器件性能大多不太穩(wěn)定，其工藝成本也過高，需要尋找高性價比的、低壓低功耗的并與生物神經(jīng)類似的神經(jīng)元器件替代材料，近來有學者提出采用納米尺度的低功耗神經(jīng)形態(tài)器件［37］，在降低能耗的同時能夠?qū)崿F(xiàn)存算一體的神經(jīng)形態(tài)計算數(shù)據(jù)處理過程。再者，生物神經(jīng)信息處理過程中的復雜作用機制（如目標識別、記憶存取、動作控制等）還未融入神經(jīng)形態(tài)計算體系的研究中，需要設(shè)計出更加靈活有效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提高神經(jīng)形態(tài)計算體系中不同計算單元之間的信息協(xié)同處理能力，實現(xiàn)MVS 系統(tǒng)的自適應(yīng)決策執(zhí)行。

5.3 智慧圖書館MVS 系統(tǒng)中異構(gòu)無線網(wǎng)絡(luò)發(fā)展趨勢

為了提供高質(zhì)量的MVS 無線接入服務(wù)，需要開發(fā)新的網(wǎng)絡(luò)架構(gòu)以適應(yīng)各種情境下用戶的MVS服務(wù)需求，空天地一體化網(wǎng)絡(luò)可以把路基網(wǎng)絡(luò)、空基網(wǎng)絡(luò)和天基網(wǎng)絡(luò)連接成一個立體化的無線網(wǎng)絡(luò)全覆蓋空間，為MVS 中大規(guī)模密集連接用戶提供全天候、無縫式網(wǎng)絡(luò)服務(wù)，但如何組建有效協(xié)同的空天地協(xié)同傳輸機制還需重點研究。MVS 服務(wù)和應(yīng)用的發(fā)展，必然會產(chǎn)生海量的視覺資源數(shù)據(jù)，而獨立地為每個用戶設(shè)備分配無線資源會大大增加無線網(wǎng)絡(luò)負擔以及消耗過多通信資源，因此有必要利用通信與計算融合技術(shù)來提高無線網(wǎng)絡(luò)效率，已有研究表明人工智能技術(shù)可以優(yōu)化無線網(wǎng)絡(luò)通信，但關(guān)于MVS 系統(tǒng)中異構(gòu)無線網(wǎng)絡(luò)的智能化通信與計算融合框架的研究還有待深入。

6 結(jié)束語

隨著MVS 的快速發(fā)展和用戶需求的不斷提升，智慧圖書館MVS 系統(tǒng)面臨著視覺資源大數(shù)據(jù)存儲與用戶快速獲取感興趣視覺資源數(shù)據(jù)的技術(shù)難題，而基于生物啟發(fā)的信息技術(shù)為MVS 的發(fā)展開辟了新的道路，是未來MVS 研究不斷深入的重要驅(qū)動力。其中，DNA 數(shù)據(jù)存儲技術(shù)可以解決困擾MVS 海量視覺資源存儲的存儲空間與存儲時間問題，神經(jīng)形態(tài)計算則大幅提高了MVS 在海量視覺數(shù)據(jù)處理上的計算能力與反應(yīng)速度，降低了網(wǎng)絡(luò)通信和計算能耗。當前，雖然國內(nèi)外學者和研究機構(gòu)已經(jīng)取得了一些研究成果，但是關(guān)于DNA數(shù)據(jù)存儲和神經(jīng)形態(tài)計算的研究在總體上還處于初始階段，它在MVS 領(lǐng)域的應(yīng)用研究還有大量的技術(shù)問題需要突破。