崔西寧，孫紅雨，李克龍

(1. 山東科技大學(xué)，山東 青島 266590； 2. 西北師范大學(xué)，甘肅 蘭州 730000)

1 引言

圖像分類是一種常見的圖像處理方法，根據(jù)圖像信息的不同特征對不同類別的對象進行劃分。通過計算機對圖像進行定量分析，將圖像或每個像素或區(qū)域分成若干類別，以代替人類的視覺判讀。

細粒度圖像分類是近年來計算機視覺、模式識別等領(lǐng)域的研究熱點之一，其為一種類似于傳統(tǒng)圖像分類任務(wù)的分類方法。由于細粒度圖像的信噪比很小，而具有足夠分辨力的信息通常只存在于很小的局部區(qū)域，因此細粒度圖像的分類比一般的圖像分類更具挑戰(zhàn)性。該方法只需對圖像進行分類就可以解決局部區(qū)域的定位問題，并在保證分類精度的前提下，可以有效地減少計算量。

細粒度圖像的分類是一項具有挑戰(zhàn)性的任務(wù)。常用的弱監(jiān)督細粒度圖像分類方法主要有基于卷積神經(jīng)網(wǎng)絡(luò)的細粒度圖像分類方法和基于多通道視覺注意力的細粒度圖像分類方法等。為了達到較好的分類效果，通常需要同時對特征進行分類和提取。首先，圖像中存在許多噪聲問題，如光強不一致、圖像背景復(fù)雜、目標遮擋等。這種情況嚴重影響了區(qū)域測試。在細粒度分類問題中，鑒別信息往往存在于細粒度的局部區(qū)域，導(dǎo)致類間差距大、類間差距小的現(xiàn)象。因此，上述兩種傳統(tǒng)方法充分利用了細粒度分類問題的特點得到了分類所需的信息。但因細粒度圖像具有類內(nèi)差距大、類間差距小的特點，導(dǎo)致傳統(tǒng)方法的分類效率難以有所突破。

為此，本文基于貝葉斯算法設(shè)計了新的弱監(jiān)督細粒度圖像分類方法。貝葉斯算法是一種基于概率和統(tǒng)計知識的分類算法，通過對貝葉斯算法的設(shè)計和分析，可分析圖像區(qū)域和強區(qū)分域之間幾何關(guān)系的不同，在不同的分類能力中找到強區(qū)分域，從而提高細粒度圖像分類的精度。

2 弱監(jiān)督細粒度圖像分類方法設(shè)計

常規(guī)的人工圖像特征在表達圖像信息方面的能力有限，且缺乏足夠的區(qū)分度，難以達到理想的分類效果，限制了細顆粒圖像分類的發(fā)展。但貝葉斯算法的出現(xiàn)，成為提高細粒度圖像分類性能的一個重要因素。

為此，對弱監(jiān)督細粒度圖像分類方案進行了優(yōu)化設(shè)計，在充分分析弱監(jiān)督細粒度圖像特征的基礎(chǔ)上，設(shè)計了一種基于貝葉斯算法的分類器用于細粒度圖像分類工作，以提高圖像分類方法的分類效率。

2.1 設(shè)計弱監(jiān)督過程

監(jiān)督學(xué)習(xí)的基本方法是在訓(xùn)練函數(shù)的基礎(chǔ)上，將樣本特征映射到帶有負數(shù)的分類空間。期望函數(shù)對未知數(shù)據(jù)保持良好的泛化性能。如果已知數(shù)據(jù)和未知數(shù)據(jù)之間沒有假定的關(guān)系，則由已知數(shù)據(jù)訓(xùn)練的分類器可以正確預(yù)測未知數(shù)據(jù)的類別。根據(jù)上述監(jiān)督學(xué)習(xí)理論設(shè)計弱監(jiān)督過程的基本結(jié)構(gòu)如圖1所示。

圖1 弱監(jiān)督過程簡圖

弱監(jiān)控過程主要利用其自身的學(xué)習(xí)特性來完成對目標全局和局部特征的學(xué)習(xí)，不需要輸入特定區(qū)域的位置信息。該過程主要分為兩個階段：預(yù)處理階段和特征聚類階段。在圖像預(yù)處理階段，從輸入圖像中生成大量的候選區(qū)域，并對這些區(qū)域進行濾波以保留具有前景的候選區(qū)域。根據(jù)特征的聚類結(jié)果，得到不同的聚類簇，并將每個簇作為區(qū)域檢測器，從而實現(xiàn)對測試樣本的局部檢測。

2.2 弱監(jiān)督顯著性細粒度區(qū)域定位

輸入細粒度圖像中的任意一個目標類，在弱監(jiān)督模型中，計算這一目標類的原始分數(shù)，并令其梯度等于0。然后將信號反向傳播給特征圖，并實施合并，從而獲得熱力圖。最后將熱力圖與定向反向傳播進行逐點疊加，即采用雙線性插值對輸入圖像進行上采樣，將定向反向傳播和視覺效果相融合，得到顯著性圖。

在此基礎(chǔ)上，利用自適應(yīng)最大類間方差法，通過計算得到的閾值，將顯著性特征圖轉(zhuǎn)化為二值化蒙板。由此對背景與前景進行區(qū)分，增大背景與前景的方差，更能突出圖像這兩部分的區(qū)別，設(shè)置1表示位置作為前景，0表示位置作為背景，再根據(jù)前景圖采用八連通區(qū)域標記算法，確定目標區(qū)域，標注目標坐標。

為使特定圖形產(chǎn)生的熱度圖在原始圖形上能更直觀地表現(xiàn)出來，采用了雙線插值法，生成與原始圖形尺寸相同的熱度圖，并與原始圖形相結(jié)合，能夠從原始圖形中顯示出不同特征的部分，大部分是在前景中，只有個別的在背景中。

雙線性插值的操作示意圖如圖2所示。

圖2 細粒度圖像的雙線性插值操作

為了得到未知函數(shù)在點處的值，假設(shè)函數(shù)在、、和四個點的值。在軸方向進行插值操作，計算公式如下

(1)

其中，=(，)，。然后在軸方向進行插值操作，計算公式如下

(2)

綜合上述軸、軸插值操作得出雙線性插值結(jié)果。對于一張大小為*的顯著性圖，即對應(yīng)*位置點，計算出一個自適應(yīng)的閾值根據(jù)閾值設(shè)計，將顯著性圖轉(zhuǎn)為二值圖，公式如下

(3)

式中，，為二值化數(shù)值，，為第通道的特征圖，為計算出的闕值。

掃描利用式(3)得到的二值圖，并篩選出待合并的像素點，對其實施有效標記。根據(jù)獲得連通區(qū)域標記，獲得目標區(qū)域的定位結(jié)果。

2.3 細粒度圖像特征提取與量化

細粒度圖像的各個部分所包含的信息量是不同的，因此，其對各種細顆粒圖像的準確識別貢獻也不同。信息豐富的局部區(qū)域包含更多的特征信息，有助于提高對不同細粒度圖像的正確識別能力。因此，在最終的特征表達中，強調(diào)用更有效的信息分析局部區(qū)域的細粒度特征，用較少的信息弱化局部區(qū)域特征。

為了進一步提高模型的分類性能，有效地整合了不同判別區(qū)域的特征信息，并對細粒度特征進行了不同尺度的加權(quán)和約束。

在細粒度圖像中采用不同的特征權(quán)重可以保證關(guān)鍵特征信息的處理，減少無效特征信息對最終分類結(jié)果的干擾，從而大大提高了分類性能。

假設(shè)輸入一段細粒度圖像序列，將其記為，其中，表示第個序列，總共包含個序列。利用3個尺度圖像的特征作為輸入序列，即的取值為3，則存在

=(+-1+)

(4)

式(4)的計算結(jié)果表示在序列中隱藏層的輸出，和分別為輸入層到隱藏層以及隱藏層到隱藏層的權(quán)重矩陣，為隱藏層的偏置，而表示激活函數(shù)。

在上述研究的基礎(chǔ)上，經(jīng)過細粒度圖像的特征提取與量化，得到的輸出結(jié)果為

=(+)

(5)

式(5)中，表示隱藏層到輸出層的權(quán)重矩陣，和分別表示輸出偏置和激活函數(shù)。在取值為3的情況下，得出的即為最終的特征量化結(jié)果。

2.4 設(shè)計貝葉斯分類器

結(jié)合上述提取的細粒度圖像特征，基于貝葉斯定理，通過訓(xùn)練大量樣本來估計后驗概率。

使用貝葉斯分類器必須滿足以下兩個條件：一是判斷分類的類別數(shù)是確定的，二是對于每個類別總體的概率分布是已知的。在滿足上述兩個條件的情況下，設(shè)計貝葉斯分類器的工作模式，如圖3所示。

圖3 貝葉斯分類器工作模式圖

按照圖3中的工作模式，定義(|)表示在已知事件發(fā)生的前提下，事件可能發(fā)生的概率，其求解公式為

(6)

貝葉斯分類器的最終任務(wù)就是將給定的樣本對象劃分到后驗概率最大的類中，其過程如下

(7)

式(7)中，為細粒度圖像的類集合，(|)表示樣本的屬性服從高斯分布對應(yīng)的函數(shù)。然后基于貝葉斯算法的運行機理，得到分類過程如下

(8)

式(8)中，()表示事件發(fā)生的概率，為細粒度圖像屬性的權(quán)值。

2.5 實現(xiàn)弱監(jiān)督細粒度圖像分類

用上述設(shè)計的貝葉斯分類器對提取并量化的弱監(jiān)督細粒度圖像特征進行代入，對相關(guān)概率和不相關(guān)概率進行綜合判斷，得到合適的檢索結(jié)果。設(shè)用戶反饋的相關(guān)圖像集合為，不相關(guān)圖像集合為，使用統(tǒng)計方法可以估計出概率。定義貝葉斯分類判決式為

()=lg[(|)]-lg[(|)]

(9)

式(9)中，(|)和(|)分別表示輸入的弱監(jiān)督細粒度圖像為符合或不符合對應(yīng)圖像類型。式(9)得出的計算結(jié)果越小，表示越符合用戶的檢索要求，即屬于對應(yīng)的分類類型。

3 對比實驗分析

以測試的基于貝葉斯算法的弱監(jiān)督細粒度圖像分類方法的分類效果為目的，設(shè)計對比實驗。實驗中，將傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的細粒度圖像分類方法(方法1)和基于多通道視覺注意力的細粒度圖像分類方法(方法2)作為對比方法。實驗過程中，需保證不同方法的運行環(huán)境均相同。

3.1 實驗環(huán)境

實驗環(huán)境基于Python語言開發(fā)，并利用開源Google TensorFlow框架Keras實現(xiàn)了貝葉斯算法結(jié)構(gòu)。以開放源代碼TransE和TransR為基礎(chǔ)，采用Gensim語言實現(xiàn)了Word2Vec的文本分式表示學(xué)習(xí)算法，實現(xiàn)了知識庫表示學(xué)習(xí)。實驗過程中，用代碼的形式將三種圖像分類方法代入到主測機上。

3.2 細粒度圖像數(shù)據(jù)集樣本與驗證標準

為提高實驗結(jié)果的可靠性，選擇caltech-101圖像庫和caltech-256圖像庫進行分類識別實驗。其中，caltech-101圖像庫包含動物、建筑物、車輛、花卉植物的101幅圖像，每個圖像包含31-800幅圖像；caltech-256圖像庫包含256個圖像，每個圖像至少包含80個圖像。

本實驗在圖像分類方面采用了一種通用的方法，將圖像集中的每種圖像隨機分為訓(xùn)練圖像和測試圖像。實驗從數(shù)據(jù)庫中選取500幅細粒度圖像，其中動物圖像101幅，建筑物圖像122幅，植物圖像92幅，車輛圖像98幅，人物圖像87幅。

3.3 設(shè)置評價指標

在細粒度圖像分類性能檢驗中，主要應(yīng)用的指標為分類效率。該指標由分類精度和分類時間開銷兩部分組成。其中，分類精度主要是分類樣本中正確分類樣本數(shù)量占總實驗數(shù)量的比值。而分類時間開銷為樣本圖像輸入到分類結(jié)果輸出的時間。

為了保證時間開銷的統(tǒng)計精度，采用調(diào)取圖像分類運行后臺數(shù)據(jù)的方式得出測試結(jié)果。為了避免實驗操作對實驗結(jié)果產(chǎn)生的影響，進行多次實驗，并通過求解平均值的方式得出分類精度的計算結(jié)果。

3.4 弱監(jiān)督細粒度圖像分類效率對比結(jié)果

為避免實驗結(jié)果過于單一，在相同的實驗環(huán)境下，重復(fù)進行4次實驗。

3.4.1 細粒度圖像分類精度對比結(jié)果

將三種不同分類方法輸出的圖像分類結(jié)果與設(shè)置的數(shù)據(jù)標準進行比對，得出有關(guān)于圖像分類精度的對比結(jié)果，如表1所示。

表1 圖像分類精度對比數(shù)據(jù)表

結(jié)合表1中的數(shù)據(jù)可以得到，基于卷積神經(jīng)網(wǎng)絡(luò)的細粒度圖像分類方法和基于多通道視覺注意力的細粒度圖像分類方法的分類精度分別為0.9305和0.9705，而本研究設(shè)計的基于貝葉斯算法的弱監(jiān)督細粒度圖像分類方法的平均分類精度為0.9885，明顯高于兩種對比方法。

3.4.2 細粒度圖像分類時間開銷對比結(jié)果

對圖形分類起止時間的調(diào)取和計算，得出不同分類方法時間開銷的測試對比結(jié)果，如表2所示。

表2 時間開銷對比數(shù)據(jù)表(s)

根據(jù)平均值的計算原理可知，基于卷積神經(jīng)網(wǎng)絡(luò)的細粒度圖像分類方法的平均時間開銷為11.575s，基于多通道視覺注意力的細粒度圖像分類方法的平均時間開銷為9.575s，而本文方法的平均時間開銷為5.55s。

綜上所述，相比于兩種傳統(tǒng)的細粒度圖像分類方法，本文方法的分類精度有所提高，且消耗的分類時間有所縮短。因此可知，基于貝葉斯算法的弱監(jiān)督細粒度圖像分類方法的分類效率有所提升。

4 結(jié)束語

圖像作為最直觀的信息來源之一，在軍事、醫(yī)學(xué)、科技和人們?nèi)粘９ぷ?、學(xué)習(xí)和生活中都產(chǎn)生了重要影響。目前，挖掘圖像細粒度信息已難以滿足社會生產(chǎn)及人們的日常工作需求，對細粒度圖像展開有效分類至關(guān)重要。

本研究基于貝葉斯算法的應(yīng)用，在傳統(tǒng)分類方法的基礎(chǔ)上，將細粒度圖像的分類精度進一步提高，并通過實驗證明了該方法具有較高的應(yīng)用價值。