劉沛鷂 羅卓然 魏家澤 程齊凱

多模態(tài)內(nèi)容資源編目及知識(shí)表示研究*

劉沛鷂 羅卓然 魏家澤 程齊凱

（武漢大學(xué)信息管理學(xué)院，武漢 430072）

在多模態(tài)信息資源體量快速增長(zhǎng)的環(huán)境下，為更有效地對(duì)內(nèi)容資源開(kāi)展編目及知識(shí)表示工作，本文從多模態(tài)的角度出發(fā)，探討在“實(shí)體-屬性-關(guān)系”結(jié)構(gòu)下多模態(tài)資源編目可行性，提出一種適用于多模態(tài)資源的編目框架M-RDA、梳理內(nèi)容資源模態(tài)歸一化方法。本文重點(diǎn)擴(kuò)展編目框架中的多模態(tài)屬性與關(guān)系類(lèi)目，從4個(gè)模態(tài)維度出發(fā)，挖掘多種資源間的描述補(bǔ)充關(guān)系，在著錄資源的同時(shí)對(duì)其模態(tài)特征及關(guān)系進(jìn)行標(biāo)注。此外，為實(shí)現(xiàn)編目規(guī)則下知識(shí)的組織和表達(dá)過(guò)程，本文從事件描述的原因、對(duì)象、地點(diǎn)、時(shí)間、人員、方法6個(gè)方面提出一種基于5W1H的多模態(tài)知識(shí)表示方法，實(shí)現(xiàn)多模態(tài)資源從標(biāo)簽獲取、編目到知識(shí)表示的完整過(guò)程，為多模態(tài)資源的編目自動(dòng)化提供理論參考和實(shí)踐案例。

多模態(tài)資源；編目；RDA；知識(shí)表示

隨著互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，公共信息平臺(tái)資源組織管理中，多模態(tài)內(nèi)容資源數(shù)量激增、知識(shí)碎片化給數(shù)據(jù)使用者帶來(lái)較大的檢索成本，而傳統(tǒng)的資源編目方式難以對(duì)多模態(tài)的碎片化信息進(jìn)行有效組織，學(xué)界對(duì)多模態(tài)內(nèi)容資源編目的相關(guān)研究也較少。在此情景下，對(duì)多模態(tài)內(nèi)容資源進(jìn)行有效合理的編目與知識(shí)表示變得尤為重要。因此，本文將針對(duì)編目工作中的多模態(tài)著錄、多種資源間的關(guān)系定義進(jìn)行討論，構(gòu)建一套資源描述型編目規(guī)則并合理高效地表示多模態(tài)知識(shí)。

傳統(tǒng)圖書(shū)編目工作通常是根據(jù)資源的特征針對(duì)文獻(xiàn)種類(lèi)進(jìn)行類(lèi)目的劃分，它是一種資源屬性的定義和闡釋。20世紀(jì)國(guó)際通用的《英美編目條例》（AACR）和我國(guó)早期施行的《中國(guó)文獻(xiàn)編目規(guī)則》將知識(shí)世界看作由文獻(xiàn)組成的空間，文獻(xiàn)需要從不同角度、通過(guò)各種指標(biāo)去描述，但這種做法忽視了實(shí)體的關(guān)聯(lián)性[1]，也未將“關(guān)系”這一類(lèi)別納入編目框架中。2010年正式問(wèn)世的資源描述與檢索（Resource Description and Access，RDA），是專(zhuān)為數(shù)字環(huán)境發(fā)展下滿(mǎn)足資源著錄與檢索的新標(biāo)準(zhǔn)[2]。該規(guī)則獲得了國(guó)際上圖書(shū)館、檔案館的廣泛采納，成為全球圖情、出版、信息等領(lǐng)域數(shù)字化背景下的資源管理新標(biāo)準(zhǔn)。

多模態(tài)內(nèi)容資源是指在多種信息載體下資源內(nèi)容層面的數(shù)據(jù)對(duì)象，呈現(xiàn)海量化、碎片化特點(diǎn)，缺少知識(shí)角度的清晰性、完備性，用戶(hù)需要瀏覽大量資源才能滿(mǎn)足搜索需求。隨著文本、圖片、音視頻等模態(tài)數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)，在傳統(tǒng)的資源編碼規(guī)則約束下，多模態(tài)挖掘算法難以高效運(yùn)行，從而導(dǎo)致數(shù)據(jù)處理速度已經(jīng)無(wú)法滿(mǎn)足實(shí)際需求[3]。如今，隨著圖片、音視頻等多模態(tài)資源的形式趨于多樣化和體量迅速擴(kuò)張，使得不同資源對(duì)象的多模態(tài)屬性更加多元，這些屬性因?yàn)闀r(shí)間、空間等維度的交叉產(chǎn)生多種關(guān)聯(lián)關(guān)系。因此，在多模態(tài)資源的背景下將“關(guān)系”這一屬性納入編目框架對(duì)實(shí)現(xiàn)內(nèi)容資源的有效管理顯得尤為重要。

1 研究現(xiàn)狀

知識(shí)表示是指把知識(shí)客體中的知識(shí)因子與知識(shí)關(guān)聯(lián)起來(lái)，便于人們識(shí)別和理解知識(shí)[4]。知識(shí)表示主要有邏輯表示法、產(chǎn)生式表示法、框架表示法等。其中：邏輯表示法是基于符號(hào)邏輯組織方式的知識(shí)表示法，適用于自動(dòng)定理的證明；產(chǎn)生式表示法是一種條件-結(jié)果式規(guī)則表示法，對(duì)于本文多模態(tài)資源的復(fù)雜情況無(wú)法適用[5]；框架表示法是把某一特殊事件或?qū)ο蟮乃兄R(shí)儲(chǔ)存在一起，形成具有一定規(guī)則結(jié)構(gòu)的表達(dá)式。其主體是固定的，表示某個(gè)固定的概念、對(duì)象或事件，其下層由一些槽組成，表示主體每個(gè)方面的屬性[5]。

5W1H分析法最早由美國(guó)政治學(xué)家哈羅德·拉斯韋爾（Harold Lasswell）提出[6]，這種邏輯符合多模態(tài)資源系統(tǒng)性表示的知識(shí)結(jié)構(gòu)，適合運(yùn)用在事件陳述和知識(shí)表示上。本文提出一種基于5W1H的多模態(tài)資源知識(shí)表示方法，并介紹不同模態(tài)資源的轉(zhuǎn)換方法。相較于其他知識(shí)表示方法，5W1H分析法更符合“實(shí)體-屬性-關(guān)系”這一編目邏輯，同時(shí)該方法能夠較為準(zhǔn)確且有效地與本文所構(gòu)建的編目規(guī)則進(jìn)行結(jié)合，形成一套基于5W1H的元數(shù)據(jù)分類(lèi)方法并進(jìn)行知識(shí)表示。

英國(guó)、美國(guó)和加拿大于1967年聯(lián)合出版的《英美編目條例》[7]是世界上較早實(shí)現(xiàn)體系統(tǒng)一的編目規(guī)則。1997年，在哥本哈根舉行的第63屆IFLA書(shū)目記錄大會(huì)上通過(guò)了一種更為清晰的結(jié)構(gòu)化編目框架——FRBR，這是RDA規(guī)則的前身[8]。在經(jīng)過(guò)長(zhǎng)達(dá)十多年的編寫(xiě)和修訂，一種直接建立世界通用的資源描述與檢索的新標(biāo)準(zhǔn)——RDA編目規(guī)則，于2010年6月正式出版，并于2014年在我國(guó)以譯本形式發(fā)行。

目前，我國(guó)的編目工作主要參照《中國(guó)文獻(xiàn)編目規(guī)則》[9]，該編目規(guī)則的結(jié)構(gòu)便于人們理解和掌握，但在定義多載體、多載體配套文獻(xiàn)、附件、多部分資源的過(guò)程中，該規(guī)則存在與其他著錄規(guī)則相矛盾、相關(guān)定義劃分范圍存在交叉等問(wèn)題。且在其出版前后，中、西方的編目界已經(jīng)逐步邁入聯(lián)機(jī)聯(lián)合編目的時(shí)代。

RDA編目規(guī)則的框架為實(shí)體、屬性及關(guān)系構(gòu)成的三元組[10]。該編目規(guī)則以實(shí)體為基礎(chǔ)，將實(shí)體對(duì)應(yīng)的屬性和實(shí)體間關(guān)系進(jìn)行擴(kuò)展，形成覆蓋廣泛、描述對(duì)象全面、功能多元的分類(lèi)細(xì)則。本文提出的多模態(tài)編目規(guī)則，將在RDA的基礎(chǔ)上引入多模態(tài)資源的分類(lèi)方法[11]，并對(duì)該編目結(jié)構(gòu)進(jìn)行多模態(tài)場(chǎng)景下的調(diào)整，從而在利用RDA編目規(guī)則對(duì)資源及其關(guān)系充分描述的同時(shí)，提供資源在多模態(tài)場(chǎng)景下的編目方法及后續(xù)知識(shí)表示的新形式。

2 多模態(tài)內(nèi)容資源編目方法

本文在RDA編目規(guī)則基礎(chǔ)上，為自動(dòng)化編目過(guò)程中的編目字典進(jìn)行規(guī)則的再定義，同時(shí)適應(yīng)內(nèi)容資源的多模態(tài)場(chǎng)景和多資源的關(guān)系特征，為多模態(tài)內(nèi)容資源進(jìn)行元數(shù)據(jù)的擴(kuò)充與匹配，現(xiàn)將該多模態(tài)資源編目規(guī)則簡(jiǎn)寫(xiě)為M-RDA（Multimode Resource Description and Access）。

2.1 多模態(tài)編目規(guī)則框架構(gòu)建

M-RDA分為實(shí)體、屬性、關(guān)系三部分，以實(shí)體為核心對(duì)象，對(duì)實(shí)體的屬性及實(shí)體間的關(guān)系進(jìn)行結(jié)構(gòu)劃分。實(shí)體屬性分為識(shí)別屬性和描述屬性?xún)纱箢?lèi)，兩類(lèi)屬性中又細(xì)分出更多特征類(lèi)別，實(shí)體間關(guān)系部分同樣有更多細(xì)分。本文的編目方法在規(guī)則設(shè)置上采用“一般”到“特殊”的結(jié)構(gòu)，一般性說(shuō)明適用于所有資源，特殊性說(shuō)明適用于某類(lèi)文獻(xiàn)資源的獨(dú)有特征。在多模態(tài)資源中，這點(diǎn)體現(xiàn)為：對(duì)屬性和關(guān)系部分的類(lèi)別劃分中，先按照一般性分類(lèi)和多模態(tài)分類(lèi)進(jìn)行區(qū)別，一般性分類(lèi)中的元數(shù)據(jù)可以收錄所有模態(tài)下的某種數(shù)據(jù)類(lèi)型，如“標(biāo)題”這一類(lèi)目既能收錄某一文本文獻(xiàn)的標(biāo)題名，也能概括視頻數(shù)據(jù)的名稱(chēng)。而對(duì)于多模態(tài)分類(lèi)來(lái)說(shuō)，不同模態(tài)的類(lèi)目具有特異性，這些特征是其他模態(tài)數(shù)據(jù)所不具有的。按照這種由“一般”到“特殊”的結(jié)構(gòu)框架，每種多模態(tài)實(shí)體都具有一般屬性和多模態(tài)屬性，而這些實(shí)體之間也具有一般關(guān)系和跨模態(tài)關(guān)系兩種關(guān)聯(lián)。本文提出的M-RDA編目規(guī)則整體結(jié)構(gòu)見(jiàn)圖1。

M-RDA編目規(guī)則中的屬性部分記錄了資源、責(zé)任者和主題3種實(shí)體屬性，關(guān)系部分記錄了3種實(shí)體之間的關(guān)系。屬性是每個(gè)實(shí)體所具有的特征，能用于識(shí)別該實(shí)體。關(guān)系指實(shí)體之間所具有的內(nèi)在聯(lián)系，能用于找到關(guān)聯(lián)的實(shí)體。上述屬性和關(guān)系在本文提出的編目規(guī)則中被稱(chēng)為元素。

本文在RDA標(biāo)準(zhǔn)的基礎(chǔ)上，對(duì)屬性中涉及其他模態(tài)的元素類(lèi)型進(jìn)行歸類(lèi)和增設(shè)，同時(shí)，豐富了各個(gè)實(shí)體間的關(guān)系類(lèi)型。如視頻中的實(shí)體之間將更加強(qiáng)調(diào)時(shí)間與空間維度的關(guān)聯(lián)，圖片資源的實(shí)體之間強(qiáng)調(diào)位置與空間維度的關(guān)聯(lián)等，這部分具有多模態(tài)特殊性的屬性和關(guān)系統(tǒng)一放在了上述多模態(tài)分類(lèi)中。多模態(tài)情境下體現(xiàn)的更多維度，都是傳統(tǒng)文本模態(tài)下的資源所不具備的特征，也是對(duì)相關(guān)資源類(lèi)型描述缺失的補(bǔ)充。

2.2 編目規(guī)則框架的要素分析

2.2.1 實(shí)體

編目對(duì)象是組成編目的基本單元，這些對(duì)象在RDA編目規(guī)則中又被稱(chēng)為實(shí)體。實(shí)體是具有含義和屬性的，不同實(shí)體間又相互關(guān)聯(lián)，擁有不同類(lèi)別的關(guān)系。實(shí)體可理解為能夠在數(shù)據(jù)庫(kù)中被識(shí)別的事物，是編目過(guò)程中的核心元素。

本文提出的資源類(lèi)型分類(lèi)方式從宏觀的角度解決了多模態(tài)問(wèn)題——每種模態(tài)的資源都可以通過(guò)5W1H的知識(shí)表示法進(jìn)行陳述，因此視頻、音頻在內(nèi)的資源標(biāo)簽也能用3種實(shí)體的分類(lèi)方式進(jìn)行歸納。例如，視頻的創(chuàng)作者是責(zé)任人實(shí)體，視頻的標(biāo)題中可歸納出該資源的主題實(shí)體，其本身又是一個(gè)資源實(shí)體下的作品。多模態(tài)下值得注意的是知識(shí)在模態(tài)間的轉(zhuǎn)換問(wèn)題，知識(shí)通過(guò)轉(zhuǎn)換成文本類(lèi)型的方式，匹配相應(yīng)的標(biāo)簽即可完成對(duì)不同模態(tài)下復(fù)雜、非結(jié)構(gòu)化知識(shí)的分類(lèi)過(guò)程，這也是解決多模態(tài)資源編目的關(guān)鍵所在。

2.2.2 屬性

屬性是指實(shí)體所具有的一套特征，可用來(lái)幫助用戶(hù)查找某個(gè)特定實(shí)體并獲取反饋信息。屬性的標(biāo)識(shí)與傳統(tǒng)著錄方法中利用資源特征進(jìn)行編目的思想一致，體現(xiàn)了實(shí)體本身具有的特性，這些特性如同實(shí)體的標(biāo)簽，有助于編目者及讀者了解實(shí)體的信息。

本文對(duì)RDA編目規(guī)則進(jìn)行多模態(tài)層面的延伸，即根據(jù)模態(tài)場(chǎng)景，細(xì)化出具有模態(tài)特征的資源標(biāo)簽（見(jiàn)表1）。對(duì)于模態(tài)不同的同種資源，在數(shù)據(jù)實(shí)際應(yīng)用過(guò)程中需要加以區(qū)分。而這種情況一般出現(xiàn)在某種資源實(shí)體的“載體表現(xiàn)”及“單件”層級(jí)，因此本文在該編目規(guī)則中做出適當(dāng)調(diào)整，在多模態(tài)屬性中增設(shè)了如“載體類(lèi)型”“聲音特征”“數(shù)字文件特征”等傳統(tǒng)編目方法中沒(méi)有的類(lèi)別。由此也可看出，隨著資源類(lèi)型和技術(shù)維度的增加，編目人員僅需在這套分類(lèi)框架下的某一層級(jí)進(jìn)行修改而不影響其他層級(jí)的類(lèi)目。

本文針對(duì)資源的多模態(tài)場(chǎng)景做了屬性類(lèi)目的擴(kuò)充（見(jiàn)表1），這些擴(kuò)充的屬性能更好地服務(wù)多模態(tài)關(guān)聯(lián)關(guān)系的定義，為多模態(tài)資源的知識(shí)表示提供基礎(chǔ)。

2.2.3 關(guān)系

RDA編目規(guī)則的后半部分分別記錄6種不同類(lèi)型的關(guān)系，將前半部分劃分的不同屬性之間的關(guān)系進(jìn)行定義。關(guān)系部分的引入打破了傳統(tǒng)書(shū)目概念的單一性和平面性，從更多維度重新界定書(shū)目元素之間的復(fù)雜關(guān)系。RDA編目規(guī)則在前兩個(gè)部分構(gòu)建了實(shí)體與實(shí)體屬性這兩個(gè)對(duì)象型資源，而現(xiàn)今數(shù)據(jù)流量大、信息載體多樣的特征也讓實(shí)體間存在各類(lèi)關(guān)聯(lián)。關(guān)系作為建立實(shí)體間連接的工具，能夠有效幫助用戶(hù)在數(shù)據(jù)庫(kù)中識(shí)別和理解資源，同時(shí)也為聚類(lèi)知識(shí)單元、實(shí)現(xiàn)知識(shí)表示提供基礎(chǔ)。

在本文構(gòu)建的多模態(tài)資源編目框架中，圖1左側(cè)關(guān)系部分除了包含RDA編目規(guī)則的內(nèi)外部關(guān)系，還提出了針對(duì)多模態(tài)場(chǎng)景下資源的多模態(tài)關(guān)系。這一模塊考慮了文本、圖片、視頻、音頻這4種模態(tài)下資源的展現(xiàn)形式，通過(guò)資源的模態(tài)特征構(gòu)建模態(tài)間的關(guān)系，這也是多模態(tài)關(guān)系的核心。

圖2展示了多模態(tài)關(guān)系的具體延伸方向和各維度之間的關(guān)系類(lèi)別。其中，圖片模態(tài)的資源更能夠展現(xiàn)出實(shí)體在空間上的特征，而音頻模態(tài)的資源著重體現(xiàn)了時(shí)間變化下各種屬性的差異以及聲音本身所能傳達(dá)的信息特征，對(duì)于視頻資源來(lái)說(shuō)則兼顧時(shí)間、空間維度的特征。在這種多模態(tài)資源編目框架下，本文從時(shí)間、空間、聲音、文本內(nèi)容維度對(duì)模態(tài)關(guān)系進(jìn)行再定義，體現(xiàn)了傳統(tǒng)編目規(guī)則所無(wú)法涉及的關(guān)系層面。

同時(shí)，不同模態(tài)間同樣具有此前編目規(guī)則未被定義的關(guān)系。圖片與文本之間產(chǎn)生的圖文描述關(guān)系、圖片與音頻之間產(chǎn)生的語(yǔ)音解釋關(guān)系等。這些模態(tài)之間因?yàn)槠渚邆涞木S度特征差異，在不同模態(tài)資源的結(jié)合搭配下，將產(chǎn)生這種互相解釋、相互對(duì)照的多模態(tài)關(guān)系。因此，這種多模態(tài)關(guān)系可以充分利用在更多維度的需求中，在傳統(tǒng)文本無(wú)法充分展示的環(huán)境下，利用多模態(tài)關(guān)系的多模態(tài)資源可以補(bǔ)充這一描述。在本文第3章構(gòu)建的知識(shí)表示法中，也將利用這種多模態(tài)關(guān)系，構(gòu)建一套融合多模態(tài)資源的知識(shí)表示模型。下文列出了多模態(tài)擴(kuò)展關(guān)系及其說(shuō)明。

（1）語(yǔ)言-圖像描述補(bǔ)充關(guān)系。文本語(yǔ)言對(duì)圖像的補(bǔ)充：如命名、釋義、指代等關(guān)系。圖像對(duì)文本語(yǔ)言的補(bǔ)充：如大小、長(zhǎng)寬度、顏色等多模態(tài)屬性上的補(bǔ)充。

（2）語(yǔ)言-演化描述補(bǔ)充關(guān)系。文本在時(shí)間演化上的補(bǔ)充描述：通過(guò)視頻、音頻等模態(tài)資源在時(shí)間上的演化過(guò)程補(bǔ)充描述文本層面無(wú)法捕捉的信息，如事件發(fā)生的先后順序、事件起因、結(jié)果等。

（3）語(yǔ)言-聲音描述補(bǔ)充關(guān)系。音頻對(duì)文本語(yǔ)言的補(bǔ)充：如音頻流聲道、音頻波長(zhǎng)、音頻分貝等多模態(tài)屬性上的補(bǔ)充。以音頻的方式呈現(xiàn)文本層面無(wú)法傳達(dá)的信息，如語(yǔ)音、語(yǔ)調(diào)等。

（4）圖像-演化描述補(bǔ)充關(guān)系。文本在時(shí)間演化上的補(bǔ)充描述：通過(guò)視頻模態(tài)資源在時(shí)間上的演化過(guò)程補(bǔ)充描述圖像層面無(wú)法捕捉的信息，如圖像在形態(tài)、顏色等多模態(tài)屬性上的變化。

（5）圖像-聲音描述補(bǔ)充關(guān)系。聲音對(duì)圖像的補(bǔ)充：如音頻形式的說(shuō)明、圖像內(nèi)容中的聲音特征等屬性的補(bǔ)充描述。圖像對(duì)聲音的補(bǔ)充：如大小、長(zhǎng)寬度、顏色等多模態(tài)屬性上的補(bǔ)充。

2.3 內(nèi)容資源模態(tài)歸一化

針對(duì)內(nèi)容資源的多模態(tài)問(wèn)題，本文通過(guò)統(tǒng)一轉(zhuǎn)化的思想，將多模態(tài)資源中的知識(shí)內(nèi)容轉(zhuǎn)化為文本形式，再利用文本現(xiàn)有方法進(jìn)行編目及知識(shí)表示。表2為各種類(lèi)型資源的轉(zhuǎn)換方法。

對(duì)于結(jié)構(gòu)化的多模態(tài)資源，需要進(jìn)一步處理資源的標(biāo)題和摘要，標(biāo)題中的信息可按照5W1H方式進(jìn)行關(guān)鍵詞抽取。例如，對(duì)于標(biāo)題、摘要中出現(xiàn)的人名，可歸類(lèi)到人物類(lèi)目中，出現(xiàn)的日期信息可歸類(lèi)到時(shí)間類(lèi)目中。按照這樣的方式，可以從整體上將連續(xù)文本信息轉(zhuǎn)化為類(lèi)目清晰、相互關(guān)聯(lián)的關(guān)鍵詞信息，便于框架表示法提取相應(yīng)結(jié)構(gòu)。在后期需求明確的場(chǎng)景下，可以人為歸類(lèi)到更精確的二級(jí)分類(lèi)下，豐富知識(shí)表示的形式和應(yīng)用方向。

對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，如圖片本身并未進(jìn)行數(shù)據(jù)標(biāo)注，可以采取圖像識(shí)別、音頻文字轉(zhuǎn)換等功能提取其中的關(guān)鍵詞或段落，再通過(guò)詞頻統(tǒng)計(jì)、主題詞分析等方式得到編目字典相關(guān)的數(shù)據(jù)標(biāo)簽，最終實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)化。上述方法提取出的信息多對(duì)應(yīng)于主題、時(shí)間、人物等便于明確識(shí)別的類(lèi)目，需經(jīng)過(guò)分析、推導(dǎo)過(guò)程得到的信息將被大量丟失。

上述針對(duì)多模態(tài)資源的轉(zhuǎn)換思路將擴(kuò)充數(shù)據(jù)來(lái)源，使基于5W1H的深度知識(shí)表示方法具有更大的應(yīng)用面。同時(shí)，這些資源類(lèi)型的適用也反映出該元數(shù)據(jù)分類(lèi)方法具有較強(qiáng)的覆蓋范圍和整合能力，而基于框架表示的知識(shí)表示方法能夠有效表達(dá)多模態(tài)內(nèi)容資源，形成邏輯嚴(yán)謹(jǐn)、結(jié)構(gòu)完整的表達(dá)式。

2.4 案例分析：多模態(tài)場(chǎng)景M-RDA編目實(shí)例

下面針對(duì)汽車(chē)制造領(lǐng)域的安全電子相關(guān)資源舉例，詳細(xì)展示一個(gè)在線(xiàn)知識(shí)服務(wù)平臺(tái)在本文提出的編目方法下多模態(tài)資源的編目過(guò)程（見(jiàn)圖3）。

①在用戶(hù)/管理員上傳題為“通用汽車(chē)安全氣囊存隱患，全球召回700萬(wàn)輛汽車(chē)”的單個(gè)資源后，系統(tǒng)識(shí)別該資源的模態(tài)類(lèi)型為音頻。②提取該資源自帶的“摘要”“標(biāo)題”“作者”等一般屬性和“時(shí)長(zhǎng)”“存儲(chǔ)大小”等多模態(tài)屬性。③該資源識(shí)別為音頻類(lèi)型后，運(yùn)用ASR語(yǔ)音識(shí)別技術(shù)將音頻內(nèi)容轉(zhuǎn)為文本，并對(duì)文本進(jìn)行關(guān)鍵詞抽取、句法語(yǔ)義分析等NLP技術(shù)，獲取到“安全氣囊”“凱迪拉克”等主題、內(nèi)容相關(guān)的數(shù)據(jù)標(biāo)簽。④獲取該音頻的主題詞、作者等標(biāo)簽后，系統(tǒng)檢索平臺(tái)上其他模態(tài)資源的相關(guān)內(nèi)容，匹配到一篇由《人民日?qǐng)?bào)》發(fā)表的文本文章和一條新聞報(bào)道視頻。并將上述資源定義為該資源的“語(yǔ)言-聲音描述補(bǔ)充關(guān)系”“圖像-聲音描述補(bǔ)充關(guān)系”多模態(tài)關(guān)系標(biāo)簽。⑤處理并獲取該音頻資源的全部標(biāo)簽后，將它們按照目錄字典的層級(jí)進(jìn)行著錄，形成該資源的一份完整目錄。

3 多模態(tài)內(nèi)容資源知識(shí)表示法

3.1 基于5W1H的知識(shí)表示法

本方法運(yùn)用框架表示的方式，對(duì)內(nèi)容資源中的復(fù)雜知識(shí)結(jié)構(gòu)進(jìn)行由主體到下層的層次性描述。它的上層主體表示某個(gè)固定的對(duì)象、概念，下層可分為一些槽，用于描述主體的不同屬性和特征。相互關(guān)聯(lián)的框架連接起來(lái)組成框架系統(tǒng)，用于對(duì)內(nèi)容資源進(jìn)行有針對(duì)性的標(biāo)準(zhǔn)化描述。該表示法將本文編目體系中的屬性對(duì)象和關(guān)系對(duì)象作為下層槽，通過(guò)自動(dòng)編目過(guò)程，把一份資源文件的文本與屬性及關(guān)系對(duì)象做對(duì)應(yīng)，并放入描述體系中形成一段具有規(guī)則和語(yǔ)法邏輯的語(yǔ)段[12]。

對(duì)于內(nèi)容資源的多種元數(shù)據(jù)類(lèi)型，可利用5W1H的知識(shí)表示方法，即人物（Who）、事件（Says What）、渠道（In Which Channel）、時(shí)間（When）、效果（With What Effect）和方式（How）[13]，進(jìn)行結(jié)構(gòu)化表示。本文通過(guò)對(duì)都柏林核心元數(shù)據(jù)[14]的延伸和知識(shí)表示的實(shí)際需求，提出一種基于5W1H的元數(shù)據(jù)分類(lèi)方法。通過(guò)上述方法，可以將識(shí)別到的元數(shù)據(jù)基于本文提出的元數(shù)據(jù)分類(lèi)方法進(jìn)行分類(lèi)，再通過(guò)框架知識(shí)表示法對(duì)需要的分散元數(shù)據(jù)加以重組，得到一套有針對(duì)性的完整表述過(guò)程。

本文針對(duì)智能制造領(lǐng)域一篇名為《面向多無(wú)人機(jī)協(xié)同飛行控制的云系統(tǒng)架構(gòu)》[15]的論文，通過(guò)5W1H的知識(shí)表示邏輯，提取并匹配編目字典中的元數(shù)據(jù)，并放入定義規(guī)則后的框架表示式中，形成如下語(yǔ)句。

“‘史殿習(xí)、洪臣、康穎’等人通過(guò)‘期刊《計(jì)算機(jī)學(xué)報(bào)》’發(fā)表了一篇主題為‘無(wú)人機(jī)云系統(tǒng)構(gòu)架’題目為‘《面向多無(wú)人機(jī)協(xié)同飛行控制的云系統(tǒng)架構(gòu)》’的期刊論文，該文‘提出了一種面向多無(wú)人機(jī)協(xié)同飛行控制的云系統(tǒng)架構(gòu)UAV3CA’方法。該文章創(chuàng)建于‘2020.08.20’，發(fā)布于‘2020.12.23’。文章來(lái)源于‘萬(wàn)方數(shù)據(jù)知識(shí)服務(wù)平臺(tái)’，以‘網(wǎng)絡(luò)文獻(xiàn)數(shù)據(jù)平臺(tái)及期刊文本’為渠道發(fā)布。最終得出了‘從單無(wú)人機(jī)制導(dǎo)控制到多無(wú)人機(jī)協(xié)同控制兩個(gè)層面驗(yàn)證出了UAV3CA對(duì)多無(wú)人機(jī)協(xié)同控制的有效性’這一結(jié)論，得到了‘一種面向多無(wú)人機(jī)協(xié)同飛行控制的云系統(tǒng)架構(gòu)UAV3CA’的成果”。

語(yǔ)句中括號(hào)內(nèi)字段如“史殿習(xí)、洪臣、康穎”“期刊《計(jì)算機(jī)學(xué)報(bào)》”“無(wú)人機(jī)云系統(tǒng)構(gòu)架”等分別對(duì)應(yīng)編目字典中的“個(gè)人名稱(chēng)”“正題名”“主題名稱(chēng)”等元數(shù)據(jù)。而不同字段又因元數(shù)據(jù)之間的關(guān)系屬性具有相對(duì)應(yīng)關(guān)系，如“史殿習(xí)、洪臣、康穎”與“期刊《計(jì)算機(jī)學(xué)報(bào)》”具有創(chuàng)作關(guān)系。

3.2 多模態(tài)資源編目編碼及知識(shí)表示流程

在對(duì)多模態(tài)內(nèi)容資源進(jìn)行系統(tǒng)性的編目之后，需要考慮資源類(lèi)型及資源中的知識(shí)能夠通過(guò)哪種方式被合理、有效表達(dá)，多模態(tài)資源在何種知識(shí)結(jié)構(gòu)下能得到系統(tǒng)地表示。因此，需要構(gòu)建一套適用于多模態(tài)環(huán)境下資源的表示方法，使得不同類(lèi)型的知識(shí)得以系統(tǒng)性組織起來(lái)，以便人們識(shí)別和理解。圖4表明了多模態(tài)資源從提取數(shù)據(jù)標(biāo)簽、形成資源目錄再到生成特定知識(shí)表達(dá)式的過(guò)程，這一過(guò)程為構(gòu)建編目規(guī)則和建立適用于多模態(tài)資源的知識(shí)表示法提供了依據(jù)。

圖4左側(cè)部分為識(shí)別資源、匹配數(shù)據(jù)標(biāo)簽的步驟，獲取多模態(tài)資源后，第一步確定資源的模態(tài)類(lèi)型，以便對(duì)不同模態(tài)的特征進(jìn)行特異化處理。第二步為獲取資源標(biāo)簽過(guò)程，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)及未標(biāo)注標(biāo)簽的特征，需先經(jīng)過(guò)多模態(tài)內(nèi)容轉(zhuǎn)化步驟，通過(guò)已有的轉(zhuǎn)化和識(shí)別技術(shù)為這些特征進(jìn)行標(biāo)簽。這一步的詳細(xì)方法在本文2.3節(jié)中進(jìn)行說(shuō)明。第三步是對(duì)已獲取的標(biāo)簽對(duì)照多模態(tài)資源目錄字典進(jìn)行匹配，這里的目錄字典根據(jù)第2章的編目方法生成。在這些資源標(biāo)簽收錄為資源目錄后即完成了多模態(tài)資源編目過(guò)程，這些收錄的標(biāo)簽可進(jìn)行知識(shí)表示或生成知識(shí)圖譜等應(yīng)用。圖4的右半部分為多模態(tài)知識(shí)表示過(guò)程，其基本思想是構(gòu)建知識(shí)表示式，對(duì)獲取的資源標(biāo)簽進(jìn)行提取并放入表示式對(duì)應(yīng)結(jié)構(gòu)中，最終形成一段該資源的完整描述。

4 總結(jié)

現(xiàn)行編目規(guī)則在多模態(tài)場(chǎng)景下無(wú)法對(duì)內(nèi)容資源進(jìn)行充分的分類(lèi)和著錄，本文在資源與描述型編目規(guī)則的基礎(chǔ)上，對(duì)現(xiàn)行編目框架進(jìn)行適配性擴(kuò)充與修改，開(kāi)展了多模態(tài)內(nèi)容資源編目及知識(shí)表示研究。本文提出了以“實(shí)體-屬性-關(guān)系”結(jié)構(gòu)為基礎(chǔ)的多模態(tài)編目規(guī)則M-RDA，擴(kuò)充了RDA編目規(guī)則中關(guān)于多模態(tài)屬性和關(guān)系層面的類(lèi)目。由于在著錄視頻、圖片等模態(tài)資源時(shí)，需要考慮時(shí)間、空間等維度下的屬性特征和這些維度之下資源間的特殊關(guān)系，因此，本文結(jié)合模態(tài)維度和模態(tài)功能的特點(diǎn)，展開(kāi)定義了多模態(tài)資源間的5種描述補(bǔ)充關(guān)系。通過(guò)多模態(tài)場(chǎng)景下M-RDA編目實(shí)例的介紹，具體描述了資源在本文提供方法下的編目流程。最后，本文提出了基于5W1H的知識(shí)表示方法，建立了多模態(tài)資源從編目到知識(shí)表達(dá)的完整流程。該知識(shí)表示法將本文基于多模態(tài)的編目體系和自動(dòng)化過(guò)程串聯(lián)起來(lái)，為編目字典中的知識(shí)提供了輸出表達(dá)方式。同時(shí)，這種方法對(duì)多模態(tài)資源進(jìn)行了高效描述，構(gòu)建了結(jié)構(gòu)化的表達(dá)方式。

總體來(lái)看，本文在多模態(tài)內(nèi)容資源編目及多模態(tài)知識(shí)表達(dá)方面提供了新思路，擴(kuò)展了多模態(tài)內(nèi)容資源的表達(dá)與轉(zhuǎn)換機(jī)制，也為后續(xù)編目自動(dòng)化技術(shù)提供了一種理論基礎(chǔ)。在后續(xù)的工作中，本文提出的多模態(tài)資源編目框架及知識(shí)表示法需要在技術(shù)層面得到更多檢驗(yàn)和修正。同時(shí)，多模態(tài)資源如何利用相關(guān)規(guī)則實(shí)現(xiàn)編目自動(dòng)化過(guò)程，有待進(jìn)一步探究和實(shí)驗(yàn)，相關(guān)理論與方法也需要在具體應(yīng)用場(chǎng)景及需求下進(jìn)行測(cè)試和補(bǔ)充。

［1］ 劉煒，胡小菁，錢(qián)國(guó)富，等. RDA與關(guān)聯(lián)數(shù)據(jù)［J］. 中國(guó)圖書(shū)館學(xué)報(bào)，2012，38（1）：34-42.

［2］ OLIVER C. RDA：21世紀(jì)的元數(shù)據(jù)［J］. 圖書(shū)館雜志，2016，35（3）：4-11.

［3］ 李釗. 多模態(tài)數(shù)據(jù)分類(lèi)與檢索的關(guān)鍵技術(shù)研究［D］. 北京：北京交通大學(xué)，2018.

［4］ 馬創(chuàng)新. 論知識(shí)表示［J］. 現(xiàn)代情報(bào)，2014，34（3）：21-24，28.

［5］ 劉建煒，燕路峰. 知識(shí)表示方法比較［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20（3）：242-246.

［6］ 張美琦，李曉娟. 我國(guó)科技查新英文論文5W1H分析［J］. 情報(bào)探索，2012（3）：81-83.

［7］ Anglo-American Cataloguing Rules（AACR，AACR2，AACR2R）.［EB/OL］.［2022-10-01］. https://www.librarianshipstudies.com/2018/12/anglo-american-cataloguing-rules-aacr.html?m=1.

［8］ 蔡丹，羅翀. 中國(guó)國(guó)家圖書(shū)館西文編目規(guī)則的嬗變與開(kāi)新［J］. 國(guó)家圖書(shū)館學(xué)刊，2019，28（5）：26-33.

［9］ 富平. 中國(guó)文獻(xiàn)編目規(guī)則［M］. 北京：北京圖書(shū)館出版社，2005.

［10］ 羅翀. RDA全視角解讀［M］. 北京：國(guó)家圖書(shū)館出版社，2015.

［11］ WU D，ZHAO S，YANG X L，et al. On the strategy of resource catalog and coding［C］//2009 First International Workshop on Education Technology and Computer Science. IEEE，2009：1008-1011.

［12］ STOREY V C，CHIANG R H，CHUA C E H. Knowledge representation：a conceptual modeling approach［J］. Journal of Database Management，2012，23（1）：1-30.

［13］ 姜天笑. 淺談科技查新工作中的5W1H分析法［J］. 情報(bào)探索，2011（5）：96-97.

［14］ 許四洋，柳曉春. Dublin Core元素與CNMARC字段的匹配、對(duì)應(yīng)［J］. 大學(xué)圖書(shū)館學(xué)報(bào)，2001，19（5）：73-78，83.

［15］ 史殿習(xí)，洪臣，康穎，等. 面向多無(wú)人機(jī)協(xié)同飛行控制的云系統(tǒng)架構(gòu)［J］. 計(jì)算機(jī)學(xué)報(bào)，2020，43（12）：2352-2371.

Research on Cataloging and Knowledge Representation of Multimodal Resource

LIU PeiYao LUO ZhuoRan WEI JiaZe CHENG QiKai

( School of Information Managemet, Wuhan University, Wuhan 430072, P. R. China )

In order to carry out the work of cataloging coding and knowledge representation for content resources effectively under the background of rapid growth of multi-modal information resources, this paper discusses the feasibility of multimodal resource cataloging under the structure of “entity-attribute-relationship”, based on the RDA, and proposes a cataloging framework M-RDA. This paper reorganizes the method of content resource modal normalization. This paper focuses on expanding the multimodal attributes and relationship categories in the cataloging framework. It explores the description and supplementary relationship between multiple resources from four modal dimensions, and annotates their modal characteristics and relationships while cataloging resources. In addition, in order to realize the organization and expression process of knowledge under the cataloging rules, this paper proposes a multimodal knowledge representation method based on 5W1H to describe events from six aspects: cause, object, place, time, person and method, which completes the process from tag acquisition, cataloging and knowledge representation, providing a theoretical basis for the automation of multimodal resource cataloging.

Multimodal Resource; Cataloging; RDA; Knowledge Representation

（2022-10-19）

G254.3

10.3772/j.issn.1673-2286.2022.11.008

劉沛鷂，羅卓然，魏家澤，等. 多模態(tài)內(nèi)容資源編目及知識(shí)表示研究[J]. 數(shù)字圖書(shū)館論壇，2022（11）：26-33.

劉沛鷂，男，1998年生，碩士研究生，研究方向：知識(shí)管理與數(shù)據(jù)挖掘。

羅卓然，女，1993年生，博士研究生，研究方向：創(chuàng)新評(píng)價(jià)、數(shù)據(jù)挖掘。

魏家澤，男，1996年生，博士研究生，研究方向：科學(xué)計(jì)量與智能文本處理。

程齊凱，男，1989年生，副教授，通信作者，研究方向：信息檢索，科技情報(bào)分析，E-mail：chengqikai@whu.edu.cn。

* 本研究得到國(guó)家重點(diǎn)研發(fā)計(jì)劃課題“服務(wù)內(nèi)容資源知識(shí)表示、分類(lèi)與編碼和自動(dòng)編目技術(shù)研究”（編號(hào)：2019YFB1404702）資助。