楊小容 曾憲琴

（1. 海軍工程大學(xué)圖書館，武漢 430033；2. 國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作廣東中心，廣州 518057）

科學(xué)數(shù)據(jù)是國家科技創(chuàng)新發(fā)展和經(jīng)濟(jì)社會進(jìn)步的重要基礎(chǔ)性戰(zhàn)略資源，是科研創(chuàng)新最基本、最活躍、影響面最寬的科技資源[1]。越來越多的基于大數(shù)據(jù)的專利檢索數(shù)據(jù)分析技術(shù)應(yīng)用在圖像檢索領(lǐng)域。在20世紀(jì)70年代，圖像檢索技術(shù)[2-3]通過人力對圖像的外部特征（如圖像的作者、年代）進(jìn)行標(biāo)注，然后通過對文本的比對查找圖像。然而，隨著圖像形式的不斷豐富，這種采用文字對圖像進(jìn)行標(biāo)注的方式已經(jīng)越來越不能適應(yīng)網(wǎng)絡(luò)等高新技術(shù)的發(fā)展需求，且耗費大量的人力資源，嚴(yán)重影響了圖像查詢的準(zhǔn)確度。為了克服這些問題，90年代開始有學(xué)者提出了基于內(nèi)容的圖像檢索技術(shù)（Content-based Image Retrieval，CBIR）。CBIR技術(shù)是通過對圖像自身的內(nèi)容信息（如圖像的顏色、紋理、形狀、語義）進(jìn)行分析和檢索的技術(shù)，該技術(shù)比基于人工標(biāo)引的圖像檢索更加客觀，更能完整地表示出圖像信息。現(xiàn)今，CBIR技術(shù)已經(jīng)成為圖像檢索領(lǐng)域的一個側(cè)重點，廣泛應(yīng)用于如遙感、醫(yī)學(xué)和社會安全等領(lǐng)域，其作為一門多學(xué)科綜合性技術(shù)，必將越發(fā)受到重視。

CBIR技術(shù)主要依托于基于內(nèi)容的圖像檢索系統(tǒng)，該系統(tǒng)主要劃分為兩個子系統(tǒng)：特征提取和查詢[4-5]。特征提取子系統(tǒng)首先對原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，然后按照給定的提取方法提取圖像的特征，用這些特征建立特征數(shù)據(jù)庫。查詢子系統(tǒng)是根據(jù)用戶給定的范例圖像，在特征庫中查詢出和它具有相同或者相似特征值的圖像，返回給用戶，以滿足用戶的要求。

下文主要從專利技術(shù)分領(lǐng)域及關(guān)鍵詞的角度對圖像檢索專利技術(shù)數(shù)據(jù)進(jìn)行獲取，并進(jìn)行處理、剖析、歸納、總結(jié)。在此基礎(chǔ)上，從顏色特征、紋理特征、形狀特征和語義特征等角度對圖像檢索技術(shù)發(fā)展路線進(jìn)行詳細(xì)分析。

1 圖像檢索專利數(shù)據(jù)獲取與處理

1.1 圖像檢索專利技術(shù)分領(lǐng)域及關(guān)鍵詞

目前圖像檢索領(lǐng)域的重點專利技術(shù)可以分為以下5個子領(lǐng)域[6-8]：①基于人工標(biāo)引的圖像檢索；②基于顏色特征的圖像檢索；③基于紋理特征的圖像檢索；④基于形狀特征的圖像檢索；⑤基于語義特征的圖像檢索。為了更好地對基于內(nèi)容的圖像檢索技術(shù)專利進(jìn)行針對性分析，筆者結(jié)合相關(guān)文獻(xiàn)及工作實踐對5個子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞進(jìn)行了歸納（見表1）。

表1 各子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞

本文通過國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作廣東中心審查員常用的CNABS（中國專利文摘數(shù)據(jù)庫）和VEN，分別對國內(nèi)和國外基于圖像檢索的5個子領(lǐng)域的專利進(jìn)行檢索分析。其中CNABS收錄了1985年至今所有中國專利文摘數(shù)據(jù)；而VEN數(shù)據(jù)庫是由SIPOABS和DWPI組成的虛擬數(shù)據(jù)庫，收錄了1827年至今的97個國家或組織的專利信息。以上兩個專利數(shù)據(jù)庫是審查員工作中常用的兩大中外專利數(shù)據(jù)庫，數(shù)據(jù)量大、權(quán)威、可靠。其檢索主要是運用“分類號+關(guān)鍵詞”組合或者“關(guān)鍵詞+關(guān)鍵詞”組合，檢索到大批相關(guān)專利文獻(xiàn)，然后按年度、申請量、申請人、國別等維度進(jìn)行數(shù)據(jù)統(tǒng)計分析，利用數(shù)據(jù)分析專用軟件Matlab進(jìn)行統(tǒng)計數(shù)據(jù)的可視化比對。

1.2 圖像檢索技術(shù)分解

技術(shù)分解可以進(jìn)一步細(xì)化分類，有助于了解行業(yè)整體情況以及選取研究重點。圖像檢索技術(shù)主要分為基于標(biāo)引和基于內(nèi)容兩個大的分支，其中基于內(nèi)容又分為基于顏色特征、基于形狀特征、基于紋理特征和基于語義特征4個小分支。

下面將基于圖像檢索各子領(lǐng)域的申請量隨年度的變化趨勢，對各子領(lǐng)域的專利申請?zhí)攸c進(jìn)行分析，圖1顯示了圖像檢索各子領(lǐng)域的申請量隨年度的變化趨勢。

圖1 圖像檢索子領(lǐng)域?qū)＠暾堏厔?/p>

從申請總量曲線看，圖像檢索技術(shù)在1985—2000年處于起步階段；2001—2009年申請量穩(wěn)步上升； 2010—2019年迎來了繼續(xù)快速發(fā)展。進(jìn)一步細(xì)化分析5個子領(lǐng)域圖像檢索技術(shù)，可以清晰看到：基于人工標(biāo)引的圖像檢索技術(shù)起步時間最早，發(fā)展勢頭最明顯，我們經(jīng)常使用的搜索引擎如百度、搜狐、Google、雅虎等都采用文本描述對圖像進(jìn)行檢索，其技術(shù)難度較低，因此1985—2008年的申請量主要來自于基于人工標(biāo)引的圖像檢索技術(shù)，2008年以后基于顏色、紋理、形狀和語義的圖像檢索技術(shù)逐步發(fā)展起來，但申請總量仍小于基于人工標(biāo)引的圖像檢索技術(shù)。圖像的顏色特征是描述一幅圖像最簡便而有效的特征，它具有旋轉(zhuǎn)不變性和尺度不變性，比其他特征更容易獲取，由圖1可見2008—2015年基于顏色特征的圖像檢索技術(shù)迎頭追趕，發(fā)展勢頭喜人；同時2008年之后，基于紋理特征和基于形狀特征的圖像檢索技術(shù)申請量也開始緩慢增加。而基于語義特征的圖像檢索涉及的主要技術(shù)包括標(biāo)識、分類、檢測和匹配，其通過提取圖像的低層視覺特征，利用人工智能機(jī)器學(xué)習(xí)模型，如支持向量模型進(jìn)行分類訓(xùn)練，最終獲取圖像的類別，并根據(jù)圖像的類別來進(jìn)行圖像檢索，其技術(shù)難度較大，因此從2009年開始才有緩慢發(fā)展。接下來主要對基于內(nèi)容的圖像檢索技術(shù)發(fā)展路線進(jìn)行分析。

2 圖像檢索專利技術(shù)申請趨勢分析

2.1 國內(nèi)專利申請分析

2.1.1 國內(nèi)申請量分析

基于對圖像檢索5個子領(lǐng)域的分析，首先將圖像檢索大領(lǐng)域的關(guān)鍵詞進(jìn)行檢索，然后利用各子領(lǐng)域的關(guān)鍵詞進(jìn)一步在結(jié)果中進(jìn)行檢索。

通過各技術(shù)子領(lǐng)域的申請量占比分析可知，基于人工標(biāo)引的圖像檢索的專利申請量最大（占比49%），其次是基于顏色特征的圖像檢索（占比26%）和基于形狀特征的圖像檢索（占比12%），基于紋理特征的圖像檢索（占比7%）和基于語義特征的圖像檢索（占比6%）專利申請量較小。這是因為基于人工標(biāo)引的圖像檢索技術(shù)起源最早，技術(shù)難度低，發(fā)展最成熟。而在基于低層視覺特征的檢索中，顏色特征是描述一幅圖像最簡便而有效的特征，且比其他特征更容易獲取，因此，基于顏色特征的圖像檢索專利申請較多。

2.1.2 國內(nèi)主要申請人分析

對檢索結(jié)果的申請人進(jìn)行統(tǒng)計發(fā)現(xiàn)，國內(nèi)圖像檢索領(lǐng)域的主要申請人為中日韓企業(yè)及中國高等院校。其中申請量排名前十的申請人依次是三星、百度、索尼、中國科學(xué)院、奧林巴斯、北京大學(xué)、西安電子科技大學(xué)、佳能、三菱、微軟。

進(jìn)一步對授權(quán)的專利進(jìn)行統(tǒng)計分析，得到授權(quán)專利的主要申請人，如圖2所示。

圖2 授權(quán)專利申請人的申請量和授權(quán)量統(tǒng)計

可以看出，申請量較大的申請人，其授權(quán)量也較大，如韓國的三星和日本的索尼，說明這些企業(yè)的圖像處理技術(shù)和圖像檢索技術(shù)都非常強(qiáng)，圖像檢索技術(shù)主要集中在日韓的相機(jī)企業(yè)當(dāng)中，以后在專利審查過程中可以重點對這部分申請人進(jìn)行追蹤檢索。而國內(nèi)的百度和騰訊雖然申請量比較大，但授權(quán)量卻很低。高校中，西安電子科技大學(xué)的申請量雖然很大，但其授權(quán)量很小，上海交通大學(xué)、清華大學(xué)、華中科技大學(xué)的申請量雖然小，但授權(quán)量大，可見高校在圖像檢索領(lǐng)域的專利授權(quán)率比較高。這是因為圖像檢索技術(shù)具有較強(qiáng)的科研學(xué)術(shù)性質(zhì)，并且高校申請人所申請的專利一般都涉及算法，其權(quán)利要求的撰寫十分冗長，導(dǎo)致保護(hù)范圍非常小，結(jié)合專利審查的標(biāo)準(zhǔn)，在這種情況下獲得授權(quán)的機(jī)會較大。

2.2 國外專利申請分析

2.2.1 國外申請量分析

利用圖像檢索相關(guān)關(guān)鍵詞對國外專利申請進(jìn)行檢索，并對檢索結(jié)果進(jìn)行統(tǒng)計，發(fā)現(xiàn)國際上圖像檢索領(lǐng)域的申請最早在20世紀(jì)70年代，1975—1985年處于起步階段，1986—1997年處于穩(wěn)步發(fā)展階段，1998—2010年迎來圖像檢索技術(shù)的快速發(fā)展階段，2011年之后圖像檢索技術(shù)趨于成熟。

2.2.2 國際申請國別分布

國際上圖像檢索領(lǐng)域的申請主要集中在日本、美國、中國、歐洲、韓國和中國臺灣地區(qū)。其中國際上申請量最大的國家是日本，這與國內(nèi)申請是一致的，但是韓國在國際上的申請量較低，排在第五位，反而中國在國際上申請量很大。對此，筆者認(rèn)為可能是由于中國在國際申請過程中，申請文件被當(dāng)作同族文獻(xiàn)也被統(tǒng)計導(dǎo)致的。

3 圖像檢索關(guān)鍵技術(shù)的發(fā)展路線分析

3.1 基于顏色特征的圖像檢索技術(shù)發(fā)展路線分析

3.1.1 基于顏色特征的圖像檢索技術(shù)發(fā)展路線分析

目前顏色特征的描述方法主要有顏色直方圖法、顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等。從圖3可以看出，2000—2012年國內(nèi)基于顏色圖像檢索領(lǐng)域的專利申請大都集中在基于顏色直方圖提取的技術(shù)領(lǐng)域，顏色直方圖是比較直觀也易于提取的圖像特征，也是最早開始發(fā)展的特征，在2012年以后，國內(nèi)才廣泛開始基于顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等的研究。而國際上基于顏色特征的圖像檢索技術(shù)起源較早，發(fā)展較為成熟，2003年開始就具備了基于顏色直方圖、相關(guān)圖、顏色矩、聚合矢量提取圖像顏色特征的技術(shù)，超前國內(nèi)足足十年時間。從整體上看，圖像顏色特征提取方法經(jīng)歷了由整體顏色特征到區(qū)域顏色特征到多區(qū)域顏色特征加權(quán)融合的發(fā)展，也由早期的單一顏色特征提取方法發(fā)展到后期多種顏色特征提取方法結(jié)合使用。

圖3 基于顏色特征的圖像檢索技術(shù)發(fā)展路線

3.1.2 基于紋理特征的圖像檢索技術(shù)發(fā)展路線分析

紋理是圖像的重要低層物理表征，廣泛存在于各種自然物體表面。目前，紋理的描述和分析方法很多，較為常用的紋理特征描述方法有基于統(tǒng)計的描述方法、基于信號處理的描述方法、基于幾何的描述方法以及基于模型的描述方法等。如圖4所示，基于紋理特征的圖像檢索領(lǐng)域的專利申請均始于國外，國內(nèi)的專利申請始于2012年并主要集中在基于統(tǒng)計的描述方法和基于模型描述方法兩方面。在實際的研究中，學(xué)者通常結(jié)合多種描述方法，使提取的紋理特征更有效。

圖4 基于紋理特征的圖像檢索技術(shù)發(fā)展路線

3.1.3 基于形狀特征的圖像檢索技術(shù)發(fā)展路線分析

不同于顏色和紋理等特征，形狀特征的提取必須建立在對圖像中物體或區(qū)域的邊緣提取和分割的基礎(chǔ)上。對形狀特征的描述，既可以描述其邊界特征，也可以描述其所包圍的區(qū)域。所以，目前常用的形狀特征描述方法主要分為以下兩種：基于邊界的形狀描述和基于區(qū)域的形狀描述。從圖5可以看出，基于形狀的圖像檢索技術(shù)在2009—2014年得到一個快速的發(fā)展期?；谶吔绲男螤钐卣髅枋鲋饕夹g(shù)包括邊界點的提取和表示方法，其主要度量方法包括邊界面積、邊界相對位置距離等，其發(fā)展路線由單因素邊界形狀度量發(fā)展到多因素形狀度量；基于區(qū)域的形狀特征提取，主要經(jīng)歷了由單區(qū)域形狀描述到多區(qū)域形狀融合的發(fā)展路線。

圖5 基于形狀特征的圖像檢索技術(shù)發(fā)展路線

3.1.4 基于語義特征的圖像檢索技術(shù)發(fā)展路線分析

由于基于語義特征的圖像檢索專利申請量較小，本文沒有對該技術(shù)的發(fā)展路線進(jìn)行分析，下面對基于語義特征的圖像檢索相關(guān)技術(shù)進(jìn)行一個說明。

基于語義的圖像檢索一般指的是基于目標(biāo)和高級語義的圖像檢索方法。在原有檢索系統(tǒng)中加入高級語義到低層特征的轉(zhuǎn)化，可以在不改變現(xiàn)有的圖像特征庫和匹配方式的情況下，實現(xiàn)基于語義的圖像檢索。這種檢索方法的目標(biāo)是最大限度地減小圖像簡單視覺特征與豐富的語義之間的語義鴻溝。一般而言，高層的圖像語義往往建立在較低層次的語義獲得的基礎(chǔ)上，并且層次越高，語義越復(fù)雜，涉及的領(lǐng)域知識越多。隨著語義技術(shù)的不斷發(fā)展與完善，相信基于語義特征的圖像檢索也會迎來一個大發(fā)展時期。

3.2 基于內(nèi)容的圖像檢索專利技術(shù)的發(fā)展趨勢

由以上分析可知，2010年以后，顏色特征提取技術(shù)以及圖像匹配技術(shù)仍然在申請量中占有較大比重。這表明申請人非常注重具有鮮明視覺信息的顏色特征表達(dá)以及能夠直接影響檢索效果的相似性度量技術(shù)方面的知識產(chǎn)權(quán)保護(hù)。一方面是因為顏色特征相對較易提取，選取合適的顏色特征表達(dá)方法，可以給技術(shù)方案帶來較好的技術(shù)效果；另一方面是因為任何一個基于內(nèi)容的圖像檢索系統(tǒng)都離不開圖像匹配技術(shù)，具有了一系列特征表達(dá)方法后，更需要有一套合適的圖像匹配方法，其直接關(guān)系到圖像檢索效果的好壞。因此，顏色特征提取技術(shù)以及圖像匹配技術(shù)在未來一段時間內(nèi)，將仍然是申請人專利保護(hù)的重點。

同時，該領(lǐng)域內(nèi)已經(jīng)逐漸出現(xiàn)了一些新的研究熱點：如從顏色的物理、視覺、心理等方面來研究顏色特征，如何解決圖像的低層特征和高層語義之間的語義鴻溝，如何設(shè)計用戶的反饋方式和充分利用反饋信息等?？梢灶A(yù)見，隨著這些熱點技術(shù)的研究逐漸深入，將會出現(xiàn)越來越多的相關(guān)專利申請。

4 結(jié)論

本文結(jié)合相關(guān)專利申請，對圖像檢索專利技術(shù)發(fā)展?fàn)顩r、關(guān)鍵技術(shù)的發(fā)展路線及發(fā)展趨勢進(jìn)行了詳細(xì)的分析。通過對以上分析可知，圖像檢索技術(shù)從20世紀(jì)70年代開始，從基于人工標(biāo)引的圖像檢索技術(shù)發(fā)展到基于內(nèi)容的圖像檢索技術(shù)?；谌斯?biāo)引的圖像檢索技術(shù)采用文本描述對圖像進(jìn)行檢索，其技術(shù)難度較低便于應(yīng)用發(fā)展。隨著技術(shù)的發(fā)展，基于顏色、紋理、形狀和語義特征的圖像檢索技術(shù)也必將迎來大發(fā)展，而這些領(lǐng)域的專利申請將會占據(jù)圖像檢索專利的半壁江山。圖像檢索技術(shù)的推動是由基于低層視覺特征的圖像檢索向基于高層語義特征的技術(shù)發(fā)展，目前，基于低層視覺特征的圖像檢索技術(shù)已相對比較成熟，基于高層語義的圖像檢索技術(shù)將會成為圖像檢索技術(shù)接下來發(fā)展的主要方向，將會出現(xiàn)越來越多的相關(guān)專利申請。