,,
(1.山東科技大學(xué) 測(cè)繪學(xué)院,山東 青島 266590; 2.中國(guó)測(cè)繪科學(xué)研究院,北京 100830)
隨著遙感技術(shù)的不斷發(fā)展,我國(guó)的遙感衛(wèi)星系統(tǒng)不斷完善,遙感圖像因能提供豐富、準(zhǔn)確的信息,在各領(lǐng)域逐漸成為重要的數(shù)據(jù)源,發(fā)揮著不可替代的作用。遙感圖像具有更新速度快、數(shù)據(jù)量大,遙感數(shù)據(jù)庫(kù)的容量膨脹迅速等特點(diǎn),隨著存儲(chǔ)數(shù)據(jù)量的不斷增加,大數(shù)據(jù)量導(dǎo)致的檢索困難問(wèn)題日漸突出[1]。
早期通過(guò)對(duì)遙感圖像加注文本詞注,將圖像及其關(guān)聯(lián)的文本詞注建立數(shù)據(jù)庫(kù)及檢索系統(tǒng)。由于要人工對(duì)海量遙感圖像進(jìn)行文本關(guān)鍵詞加注,會(huì)存在海量數(shù)據(jù)標(biāo)注的工作量、文本標(biāo)簽信息全面性不足以及文本標(biāo)簽信息主觀性等問(wèn)題[2]。20世紀(jì)90年代,由于傳統(tǒng)方法無(wú)法滿足大數(shù)據(jù)量條件下的需求,CBIR(content-based image retrieval)方法應(yīng)運(yùn)而生。相對(duì)于傳統(tǒng)的基于文本關(guān)鍵詞的圖像檢索方法,該方法能更加客觀、全面地反映圖像的內(nèi)容信息[3]。CBIR運(yùn)用圖像的某些內(nèi)在特征作為圖像檢索的依據(jù),例如顏色特征、形狀特征和紋理特征,這些特征可通過(guò)某些相似性測(cè)度如歐氏距離、直方圖相交距等,度量待檢索圖像和圖像數(shù)據(jù)庫(kù)內(nèi)圖像的相似性獲取檢索結(jié)果[4]。由于遙感圖像中的顏色和紋理容易受到傳感器精度、大氣、觀測(cè)角度等因素的影響,使得同一地區(qū)在不同觀測(cè)條件下圖像的顏色和紋理特征變化較大。而作為遙感地物的內(nèi)在特征,形狀對(duì)觀測(cè)因素變化抗性較高。在進(jìn)行遙感圖像檢索時(shí)運(yùn)用形狀特征,可以有效避免前文所述的因素干擾,提高檢索的速度以及檢索的準(zhǔn)確性[5]。
目前的檢索方法中運(yùn)用形狀特征的主要有兩類:一類基于全局特征,運(yùn)用圖像的整體形狀信息進(jìn)行檢索[6-8],特征是提取難度低,但普遍魯棒性較差;第二類基于局部特征,這種方法過(guò)程較為復(fù)雜,包括圖像分割、分區(qū)域描述及各區(qū)域相對(duì)關(guān)系描述等,通過(guò)這些局部的形狀特征進(jìn)行檢索[9-10],該類檢索方法對(duì)于圖像有較高的要求,需要圖像的前景目標(biāo)和背景極易區(qū)分,而遙感圖像的地物種類繁多,這些要求通常難以滿足,導(dǎo)致預(yù)處理工作難度高。王仁禮等[11]提出利用多尺度邊緣特征進(jìn)行圖像檢索可以提高檢索精度,本文在進(jìn)行圖像檢索時(shí)也采用了多尺度邊緣特征。
圖像中的邊緣涵蓋了大量的形狀信息,可通過(guò)圖像邊緣捕捉圖像中所包含的形狀信息。含有城市的遙感圖像具有較為豐富的邊緣信息,適合運(yùn)用基于形狀的檢索方法。邊緣角度直方圖是一種可用于圖像檢索的全局形狀特征,該特征通過(guò)統(tǒng)計(jì)圖像中的邊緣像素位置的梯度角度,以直方圖的形式描述圖像的全局形狀信息[11]。但邊緣角度直方圖在圖像旋轉(zhuǎn)時(shí)會(huì)出現(xiàn)圓平移(circle shift),使邊緣角度直方圖不具備旋轉(zhuǎn)不變性,且原始的邊緣角度直方圖不具備尺度不變性[6]。
為了獲得具有旋轉(zhuǎn)、尺度、平移不變性的全局特征用于圖像檢索,本研究提出一種基于Freeman差分碼思想的邊緣角度二階差分直方圖特征,用于含有城市的遙感圖像中,通過(guò)對(duì)圖像中提取的邊緣角度進(jìn)行二階差分運(yùn)算,將運(yùn)算結(jié)果統(tǒng)計(jì)為頻率直方圖,使邊緣角度二階差分直方圖特征具備了旋轉(zhuǎn)、尺度、平移不變性。
圖1 高斯多尺度空間
圖像多尺度表達(dá)就是把原圖置入一系列由原圖處理得出的含有一個(gè)自由參數(shù)的圖像中,這一系列圖像就是多尺度觀測(cè)的模擬[11](圖1)。目前在圖像多尺度表達(dá)方面,較為可靠的方法是使用高斯函數(shù)卷積核,對(duì)圖像進(jìn)行多次卷積運(yùn)算形成高斯圖像尺度空間。
一維高斯函數(shù)是
(1)
令尺度空間f(x,t)=St(f(x))=f(x)*g(x),其中*是卷積運(yùn)算,St是尺度變換算子。利用高斯函數(shù)對(duì)f(x)多次卷積,隨著t的不斷增大,f(x)的濾波結(jié)果平滑程度也不斷提高,因此,f(x,t)就是該圖像f(x)的一個(gè)高斯尺度空間,其中,參數(shù)t是尺度參數(shù)。高斯尺度空間滿足下列性質(zhì)[11]:
1) 線性性:卷積算子具有線性特征;
2) 因果性:零交叉點(diǎn)在高斯尺度空間各尺度的個(gè)數(shù)是穩(wěn)定的;
3) 通過(guò)離散化和二維推廣,可得到適用于圖像的高斯濾波器;
4) 圖像的高斯濾波器具有旋轉(zhuǎn)對(duì)稱性。
通過(guò)使用二維高斯濾波器對(duì)遙感圖像進(jìn)行多次濾波可以建立對(duì)應(yīng)圖像的高斯多尺度空間,如圖2。
圖2 高斯多尺度空間
Canny算子通過(guò)局部梯度最大值抑制和雙閾值確定邊緣的方法在最大程度抑制噪聲影響的同時(shí)確保了邊緣準(zhǔn)確性和連續(xù)性,是一種優(yōu)秀邊緣檢測(cè)算子。本研究結(jié)合多尺度空間,在各尺度上利用Canny算子對(duì)圖像進(jìn)行了邊緣提取(圖3)。
圖3 高斯多尺度空間邊緣
對(duì)遙感圖像進(jìn)行高斯多尺度空間構(gòu)造,并在各尺度上進(jìn)行邊緣檢測(cè),利用每個(gè)尺度空間下提取的邊緣,計(jì)算每個(gè)尺度空間圖像對(duì)應(yīng)點(diǎn)位的灰度梯度方向,邊緣角度和灰度梯度方向垂直,由灰度梯度方向易得出邊緣角度,進(jìn)而生成一幅基于灰度梯度方向的邊緣角度圖像。
灰度梯度指的是像素點(diǎn)與其鄰近像素點(diǎn)之間的灰度差異,通常運(yùn)用灰度梯度算子解算。Sobel算子是灰度梯度算子中較為穩(wěn)定的一種,選取Sobel算子作為灰度梯度計(jì)算算子。Sobel算子將灰度梯度分為x和y方向分別進(jìn)行計(jì)算,可利用反三角函數(shù)計(jì)算灰度梯度方向。Sobel算子模板為[12]:
(2)
(3)
由(2)式和(3)式計(jì)算出x和y方向的灰度梯度后,由θ(x,y)=arctan(g(x)/g(y)),可得邊緣角度,再將得到的弧度轉(zhuǎn)為度,并進(jìn)行角度轉(zhuǎn)化,將角度范圍從[-90°,90°]轉(zhuǎn)化到[0°,180°]。
由于圖像旋轉(zhuǎn)引起的圖像邊緣角度變化會(huì)導(dǎo)致邊緣角度直方圖出現(xiàn)圓平移,使邊緣角度直方圖不具備旋轉(zhuǎn)不變性[6],針對(duì)這個(gè)問(wèn)題,本研究基于Freeman差分碼的思想,對(duì)邊緣角度進(jìn)行了二階差分運(yùn)算。Freeman差分碼通過(guò)對(duì)表示邊緣角度的Freeman碼進(jìn)行差分運(yùn)算得到了旋轉(zhuǎn)不變性[13-15],本研究直接對(duì)邊緣角度進(jìn)行二階差分的運(yùn)算,運(yùn)算得出的結(jié)果同樣具有旋轉(zhuǎn)不變性。經(jīng)過(guò)二階差分處理后的邊緣角度圖像,進(jìn)行直方圖統(tǒng)計(jì)可以獲得具備旋轉(zhuǎn)不變性的邊緣角度二階差分直方圖,對(duì)獲得的邊緣角度二階差分直方圖進(jìn)行歸一化,轉(zhuǎn)換為頻率直方圖,使其具備尺度不變性[14]。
二階差分公式:
Δ2θi=θi-1-2θi+θi+1。
(4)
其中,θi為某邊緣點(diǎn)對(duì)應(yīng)的邊緣角度,θi-1和θi+1分別是該邊緣點(diǎn)沿邊緣方向的兩個(gè)臨近邊緣點(diǎn)的邊緣角度。
文獻(xiàn)[11]指出,通過(guò)降低邊緣直方圖的量化間隔,可以減弱圖像旋轉(zhuǎn)對(duì)于邊緣角度直方圖的影響,同時(shí)也可以降低運(yùn)算量以及簡(jiǎn)化表達(dá)。本文將邊緣角度二階差分直方圖統(tǒng)計(jì)的邊緣角度二階差分值線性化到[0°,36°],統(tǒng)計(jì)后可以得到一維的邊緣角度二階差分直方圖H[0~36],接下來(lái)的全局特征匹配運(yùn)用H作為圖像全局邊緣特征。
圖4中分別展示了一幅遙感圖像與該圖像旋轉(zhuǎn)90°后的邊緣角度直方圖結(jié)果與邊緣角度二階差分直方圖結(jié)果??梢悦黠@看出圖4(c)和圖4(d)的直方圖中均有3個(gè)波峰,圖4(c)中的波峰分別位于3°、24°和29°附近,分別對(duì)應(yīng)圖4(d)中21°、6°和11°附近的波峰,波峰位置出現(xiàn)了圓平移。而圖4(e)和圖4(f)的整體變化趨勢(shì)一致性好,在0°附近的波峰位置一致,在15°附近的微小波谷位置也相同,各個(gè)角度對(duì)應(yīng)的數(shù)量也有較好的一致性。
由上述內(nèi)容可以得到本文提出的邊緣角度二階差分直方圖特征提取的流程:
1) 對(duì)遙感圖像進(jìn)行高斯多尺度空間構(gòu)造;
2) 運(yùn)用Canny算子在高斯多尺度空間的各個(gè)尺度上提取邊緣;
3) 計(jì)算邊緣像素點(diǎn)處的梯度方向,進(jìn)而得到邊緣角度,對(duì)邊緣角度進(jìn)行二階差分計(jì)算;
4) 統(tǒng)計(jì)邊緣像素點(diǎn)上的邊緣角度二階差分值直方圖,并將其轉(zhuǎn)換為頻率直方圖。
圖4 邊緣角度直方圖與邊緣角度二階差分直方圖對(duì)比
常用的圖像特征匹配相似性測(cè)度有歐式距離、二次距離和直方圖相交法等。在使用邊緣角度直方圖作為匹配特征時(shí),直方圖相交法是最適合的相似性測(cè)度。直方圖相交法定義兩幅圖像之間相似性為[16]:
(5)
其中,Vq(m)=Vq-mean(Vq),Vp(m)=Vp-mean(Vp),Vq是待檢索圖像的直方圖特征,Vp是圖像數(shù)據(jù)庫(kù)內(nèi)圖像的直方圖特征。dqp表征待檢索圖像與目標(biāo)圖像的相似性程度,數(shù)值越高則兩幅圖像的相似性越高[11]。
為了檢驗(yàn)提出的基于邊緣角度二階差分直方圖的遙感圖像檢索方法對(duì)于旋轉(zhuǎn)、尺度變化、平移的抗性,以及檢索的效率,本文利用下載的覆蓋城市的高分1號(hào)圖像(16 m分辨率PAN),覆蓋河北秦皇島及附近地區(qū),分割成8個(gè)區(qū)域80幅圖像,每個(gè)區(qū)域10幅圖像;landsat8圖像(30 m分辨率多光譜),覆蓋新疆和田及附近地區(qū),分割成8個(gè)區(qū)域80幅圖像,每個(gè)區(qū)域10幅圖像;航空攝影影像,覆蓋山東臨沂地區(qū),共24個(gè)區(qū)域240幅圖像,每個(gè)區(qū)域10幅圖像,以及the oxford buildings dataset中的10個(gè)建筑物共100幅圖像,每個(gè)建筑物10幅圖像,建立一個(gè)圖像庫(kù),庫(kù)內(nèi)圖像分別含有河流、建筑、道路、海岸線、山體等一種或多種地物,每個(gè)區(qū)域圖像有10幅,每個(gè)區(qū)域中選1幅作為檢索事例圖像,其余9幅圖像相對(duì)檢索事例圖像發(fā)生了旋轉(zhuǎn)、尺度變化和平移的變化,共500幅圖像。
在基于圖像內(nèi)容的檢索中,給定一幅目標(biāo)圖像(查詢圖像)后,系統(tǒng)的任務(wù)就是在數(shù)據(jù)庫(kù)中查找與目標(biāo)相似的圖像[17-18]。本次對(duì)比實(shí)驗(yàn)每類圖像中選取的檢索事例圖像共50幅組成檢索事例圖像集,將檢索事例圖像集中的每幅圖像在遙感圖像庫(kù)中檢索,返回相似性最高的10幅圖像,由于每個(gè)區(qū)域圖像共10幅,所以此時(shí)的查全率等于查準(zhǔn)率。將檢索事例圖像集中的50幅圖像在遙感圖像庫(kù)檢索結(jié)果的查準(zhǔn)率統(tǒng)計(jì)并平均,獲得的平均查準(zhǔn)率作為評(píng)價(jià)該檢索方法的最終指標(biāo)。檢索事例圖像集中的典型地物如圖5所示。
圖5 檢索事例圖像集中的典型地物
查準(zhǔn)率的計(jì)算公式為[17]:
(6)
圖像庫(kù)內(nèi)數(shù)據(jù)按照地物類型可分為道路(100幅)、海岸線(80幅)、山體(80幅)、河流(80幅)和建筑(160幅,包括100幅Oxford building dataset中圖像)五大類,在圖像庫(kù)中進(jìn)行兩種檢索方法的檢索性能對(duì)比實(shí)驗(yàn),統(tǒng)計(jì)五種地物類型的檢索精度,得到表1的檢索性能對(duì)比結(jié)果。
表1表示傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法(該方法利用邊緣角度直方圖作為圖像檢索依據(jù),邊緣角度直方圖特征是通過(guò)提取圖像中的邊緣,計(jì)算邊緣位置的灰度梯度,進(jìn)而得出邊緣的角度,統(tǒng)計(jì)邊緣角度的直方圖形成的。)以及提出的基于邊緣角度二階差分直方圖的圖像檢索方法這兩種圖像檢索方法的檢索性能,其中檢索方法1代表的是傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法,檢索方法2代表的是基于邊緣角度二階差分直方圖的圖像檢索方法。
表1 兩種檢索方法性能對(duì)比
通過(guò)分析表1可以得出,取平均查準(zhǔn)率作為性能評(píng)價(jià)標(biāo)準(zhǔn),本研究方法比傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法性能提升了31.96%,較大地提升了檢索性能。由查準(zhǔn)率方差結(jié)果可以看出,本研究方法的穩(wěn)定性要顯著優(yōu)于傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法,對(duì)于圖像尺度變化的抗性更高,特別是在含有道路、建筑等人工地物的城市中,能有效地檢索到所需的遙感圖像。
通過(guò)分析表1中的各地物類型對(duì)應(yīng)的兩種方法檢索性能,可以得出:
1) 含有道路的圖像具有較高的邊緣信息含量,其中直線與曲線特征的邊緣角度信息可以在邊緣角度二階差分直方圖中較好的體現(xiàn)出來(lái),因而本研究提出的基于邊緣角度二階差分直方圖的檢索方法能取得較高的檢索查準(zhǔn)率;而傳統(tǒng)的基于邊緣角度直方圖的方法雖然也能利用其直線與曲線特征進(jìn)行有效檢索,但由于該方法的旋轉(zhuǎn)抗性差,對(duì)于圖像庫(kù)中存在旋轉(zhuǎn)的圖像無(wú)法準(zhǔn)確檢索,因而比本文提出的方法檢索差準(zhǔn)率低20%,充分證明本文提出的方法具有較好的旋轉(zhuǎn)抗性。
2) 含有海岸線的圖像具有少量的邊緣特征,其中的海岸線可以提供較好的曲線特征,能夠?yàn)檫吘壗嵌榷A差分直方圖提供足夠的信息量,特別是歸一化處理可以有效對(duì)抗縮放帶來(lái)的影響,因而本文方法可以取得較高的檢索查準(zhǔn)率;而傳統(tǒng)方法對(duì)于少量邊緣信息的利用能力不強(qiáng),對(duì)于圖像庫(kù)中發(fā)生旋轉(zhuǎn)和縮放的圖像無(wú)法準(zhǔn)確檢索,因而檢索查準(zhǔn)率較低,充分證明了本方法具有較好的旋轉(zhuǎn)和縮放抗性。
3) 含有山體的圖像邊緣信息復(fù)雜,以曲線特征為主,在邊緣角度二階差分域上曲線特征能提供有效的信息,但由于山體之間的邊緣信息有高度的相似性,本方法的檢索查準(zhǔn)率有所下降;而傳統(tǒng)方法對(duì)于邊緣信息相似性較高的山體難以區(qū)分彼此,因而查準(zhǔn)率很低(28%),所以對(duì)于具有復(fù)雜邊緣信息且相似性較高的不同圖像,本文方法進(jìn)行二階差分域的邊緣角度統(tǒng)計(jì)具有更好的檢索效果。
4) 河流與海岸線特征類似,所以本文方法對(duì)于兩者的查準(zhǔn)率基本一致,但河流可以提供更多的邊緣信息量,因而傳統(tǒng)方法的檢索查準(zhǔn)率有所提升,總體上還是本方法的查準(zhǔn)率更高。
5) 建筑是這幾類地物中能提供邊緣信息量最多的一類,具有豐富的曲線、直線等邊緣特征,特別是建筑中有許多矩形特征,因而建筑這類地物在邊緣角度上具有一定的旋轉(zhuǎn)抗性,傳統(tǒng)方法和本方法都有較高的檢索查準(zhǔn)率,但本方法的旋轉(zhuǎn)抗性更高,所以查準(zhǔn)率更高。
綜合以上分析可以得出,本研究提出的基于邊緣角度二階差分直方圖的圖像檢索方法,在用于含有明顯形狀特征地物的遙感圖像檢索時(shí),相較于傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法,有著更高的圖像旋轉(zhuǎn)、尺度和平移變化的抗性,能有效提升檢索性能,同時(shí)穩(wěn)定性也大幅提高,特別是道路、建筑等人造地物,因而本文方法適合于城市遙感圖像的檢索。
針對(duì)目前的遙感圖像檢索方法中,圖像區(qū)域分割困難、不易準(zhǔn)確提取局部形狀特征的問(wèn)題進(jìn)行了分析,在邊緣角度直方圖的基礎(chǔ)上改進(jìn),基于Freeman差分碼的思想,提出了邊緣角度二階差分直方圖特征,使其具備旋轉(zhuǎn)、尺度和平移不變性。進(jìn)而提出基于邊緣角度二階差分直方圖的圖像檢索方法,并實(shí)驗(yàn)驗(yàn)證了該方法比傳統(tǒng)的基于邊緣角度直方圖的圖像檢索方法性能有較大提升,特別是在城市遙感圖像檢索中具有較大優(yōu)勢(shì)。但這種方法也存在一些不足之處,例如實(shí)驗(yàn)結(jié)果分析中的對(duì)于邊緣角度變化信息不足的圖像沒(méi)有達(dá)到理想的檢索性能,查準(zhǔn)率有待提升;對(duì)于原始圖像的顏色信息及灰度級(jí)信息沒(méi)有充分運(yùn)用等問(wèn)題,下一步工作將結(jié)合多種特征信息,建立更加完善的遙感圖像檢索方法。