李治遠(yuǎn)，豆虎林，胡 俊，吳子敬，吳永亭

(1. 自然資源部第一海洋研究所，山東 青島 266061； 2. 山東水利職業(yè)學(xué)院，山東 日照 276826)

聲學(xué)探測(cè)是高效、精確地調(diào)查水體和海床狀況最好的方式，甚至常常是唯一可行的手段[1]。在眾多聲學(xué)設(shè)備中，側(cè)掃聲吶(side-scan sonar，SSS)系統(tǒng)因?yàn)榈土膬r(jià)格，以及可以高效地獲取高分辨率海底地貌圖像等優(yōu)點(diǎn)，在海洋科學(xué)、海洋工程、水下搜救與目標(biāo)識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用[2]。但由于作業(yè)模式及其成像機(jī)理的原因，側(cè)掃聲吶圖像存在局部畸變和位置偏差，按照地理編碼結(jié)果將不同條帶拼接到一起時(shí)，存在共視目標(biāo)錯(cuò)位的問(wèn)題，不利于地貌信息的準(zhǔn)確表達(dá)。

針對(duì)側(cè)掃聲吶圖像的配準(zhǔn)，許多學(xué)者為此作了相關(guān)研究。文獻(xiàn)[3]提出基于SURF的共視目標(biāo)分段配準(zhǔn)方法，并通過(guò)小波變換實(shí)現(xiàn)圖像融合，該方法顧及局部畸變圖像特點(diǎn)，配準(zhǔn)后共視目標(biāo)一致性較好。文獻(xiàn)[4]研究了顧及畸變的側(cè)掃聲吶條帶圖像鑲嵌方法，提出了分塊提取特征思想以及基于薄板樣條的局部彈性配準(zhǔn)方法，取得了很好的效果。文獻(xiàn)[5]研究了基于ORB(oriented brief)算法和KAZE算法的側(cè)掃聲吶配準(zhǔn)方法，但在配準(zhǔn)的過(guò)程中未顧及圖像局部畸變不一致的特點(diǎn)，當(dāng)側(cè)掃聲吶采用拖曳作業(yè)模式或海底線提取不準(zhǔn)確時(shí)，該方法拼接效果難以保證。文獻(xiàn)[6]提出了針對(duì)側(cè)掃聲吶圖像的分層特征匹配算法及基于非線性尺度空間的特征匹配算法，提高了特征點(diǎn)的匹配率。文獻(xiàn)[7—8]研究了基于SURF的側(cè)掃聲吶圖像配準(zhǔn)，但同樣未顧及不同區(qū)域圖像變形程度不一致的問(wèn)題。通過(guò)以上分析可以看出，現(xiàn)有關(guān)于側(cè)掃聲吶拼接的研究大都是先提取特征點(diǎn)，然后再進(jìn)行特征匹配，最后以某種準(zhǔn)則進(jìn)行圖像的融合。但是，側(cè)掃聲吶圖像存在噪聲大、整體細(xì)節(jié)特征分量少的特點(diǎn)，大量穩(wěn)定的特征點(diǎn)不易獲取，這給配準(zhǔn)帶了困難。近年來(lái)，圖像分割領(lǐng)域發(fā)展很快，出現(xiàn)了大量?jī)?yōu)秀的算法，這給側(cè)掃聲吶圖像的結(jié)構(gòu)化分析帶了可能。側(cè)掃聲吶圖像配準(zhǔn)的最終目的就是保證相同目標(biāo)拼接后輪廓一致，為此，本文提出一種基于目標(biāo)輪廓的配準(zhǔn)方法，期望能對(duì)現(xiàn)有配準(zhǔn)方法進(jìn)行補(bǔ)充。

1 配準(zhǔn)方法

本文所提出的聲吶圖像配準(zhǔn)方法核心是輪廓點(diǎn)配準(zhǔn)及圖像彈性變換模型的建立，下面分別對(duì)其詳細(xì)介紹。

1.1 基于形狀上下文輪廓配準(zhǔn)

在對(duì)圖像進(jìn)行分割后，可以很容易地獲取不同分割區(qū)域的輪廓P={p1,p2,…,pn}，其中，pi∈R2，為輪廓點(diǎn)在圖像上的坐標(biāo)，n為輪廓上的點(diǎn)數(shù)。圖像配準(zhǔn)的目的是找到兩幅圖像上像素的對(duì)應(yīng)關(guān)系，對(duì)于圖像上的兩個(gè)輪廓來(lái)說(shuō)就是找到它們邊界點(diǎn)的對(duì)應(yīng)關(guān)系。邊界點(diǎn)的特征描述越豐富、越具有代表性，則在匹配時(shí)越不容易發(fā)生誤匹配。環(huán)境上下文(shape context，SC)是一種可以描述豐富特征的描述子，能夠表達(dá)出周圍點(diǎn)相對(duì)某一點(diǎn)的分布情況，具有很強(qiáng)的分辨能力，對(duì)于各種變形、異常值等具有很強(qiáng)的穩(wěn)健性，因此，很適合非剛性變換的點(diǎn)位匹配[9]。

對(duì)于輪廓上的任意一點(diǎn)pi(如圖1所示)，以點(diǎn)pi為圓心的5個(gè)同心圓和過(guò)該點(diǎn)的6條直徑將以半徑為r的范圍內(nèi)的區(qū)域分割成了60個(gè)區(qū)域，其中的一個(gè)區(qū)域如圖1中區(qū)域A(即式(1)中的bin(k))所示，通過(guò)統(tǒng)計(jì)落入每個(gè)區(qū)域除去pi以外輪廓點(diǎn)的個(gè)數(shù)，得到pi周圍點(diǎn)位的分布直方圖hi，作為該點(diǎn)的SC描述。為了使SC具有尺度不變性，通常選擇所有輪廓點(diǎn)之間的平均距離作為r值。實(shí)際計(jì)算過(guò)程中，圓的個(gè)數(shù)及直徑的個(gè)數(shù)可調(diào)整，每個(gè)圓的半徑rc滿足條件log(rc)=c/log(r)(c=1,2,…,C，C為圓的個(gè)數(shù))。

(1)

由于SC是一種表示點(diǎn)位分布的直方圖，因此，可以用χ2檢驗(yàn)作為度量?jī)蓚€(gè)點(diǎn)匹配的損失函數(shù)Cij。

(2)

在定義了損失函數(shù)之后，兩個(gè)輪廓之間的配準(zhǔn)就變?yōu)閷ふ沂沟脫p失函數(shù)之和最小時(shí)的輪廓點(diǎn)對(duì)應(yīng)關(guān)系，而尋找最小損失值是一個(gè)雙邊圖配準(zhǔn)問(wèn)題，有很多方法可以解決此問(wèn)題，本文采用文獻(xiàn)[10]中的方法。為了能夠穩(wěn)健地處理異常值，可以向輪廓點(diǎn)集合中添加虛擬的點(diǎn)并賦予其一個(gè)恒定的匹配損失值ε，當(dāng)一個(gè)輪廓中的點(diǎn)pi在另一個(gè)輪廓中找不到損失值小于ε的匹配點(diǎn)qj時(shí)，就分配給pi一個(gè)損失值為ε的虛擬點(diǎn)，因此，可以將ε當(dāng)作一個(gè)排除異常值的閾值。

(3)

1.2 基于TPS圖像變換建模

通過(guò)輪廓配準(zhǔn)可以找到輪廓上對(duì)應(yīng)的點(diǎn)對(duì)，為了使兩幅聲吶圖像中的對(duì)應(yīng)區(qū)域能夠重合到一起，還需要建立變換模型?？紤]聲吶圖像存在局部畸變，不能簡(jiǎn)單地用剛性變換來(lái)表示，本文采用薄板樣條函數(shù)(thin plate spline，TPS)作為變換函數(shù)。薄板樣條函數(shù)能夠?qū)⒖臻g變換分解為一個(gè)全局仿射變換和一個(gè)局部非仿射變換[11]，是一種應(yīng)用較多的彈性變換方法。TPS插值函數(shù)可以使彎曲能量函數(shù)(如式(4)所示)的值取得最小，函數(shù)形式如式(5)所示。

(4)

f(x,y)=v=a1+axx+ayy+

(5)

式中，v表示坐標(biāo)(x,y)經(jīng)變換后的橫坐標(biāo)x′或縱坐標(biāo)y′;U(r)是一個(gè)核函數(shù)，定義為U(r)=r2logr2，r為兩個(gè)輪廓對(duì)應(yīng)點(diǎn)對(duì)的歐氏距離，通常有U(0)=0。TPS函數(shù)有n+3個(gè)參數(shù)，而f(x,y)=v只有n個(gè)方程，需要添加3個(gè)約束條件才能求解，即

(6)

綜上可得方程式組(7)，方程組寫成分塊矩陣的形式如式(8)，由文獻(xiàn)[12]可知方程組左側(cè)方陣是可逆的，因此，方程是有解的。

(7)

(8)

根據(jù)式(8)可分別解出x軸和y軸方向上的變換參數(shù)[a1(b1),ax(bx),ay(by),w1,w2,…,wn]T，則一幅圖像上的任意一點(diǎn)(x,y)的變換坐標(biāo)(x′,y′)的計(jì)算公式為

(9)

當(dāng)輪廓點(diǎn)存在噪聲時(shí)，可通過(guò)正則化來(lái)放寬插值的精度，實(shí)現(xiàn)的方式是使得式(10)取得最小值[13]。

(10)

正則化參數(shù)λ是一個(gè)正值，控制著平滑的程度。當(dāng)λ=0時(shí)，矩陣塊U的對(duì)角元素均為零，式(10)退化為精確的插值，薄板樣條函數(shù)嚴(yán)格經(jīng)過(guò)各參考點(diǎn)；當(dāng)λ=+∞，式(10)變?yōu)橐话愕姆律渥儞Q模型。求解方法是將式中U矩陣替換為U+λI，I是一個(gè)n×n的單位矩陣。

1.3 配準(zhǔn)流程

聲吶圖像配準(zhǔn)流程如圖2所示，首先，對(duì)圖像A和B進(jìn)行分割，分割方法不限，只要能夠有效地分割出圖像中的目標(biāo)即可；其次，統(tǒng)計(jì)分割結(jié)果中目標(biāo)的輪廓點(diǎn)集合，尋找對(duì)應(yīng)的輪廓，方法有很多，如通過(guò)計(jì)算輪廓Hu矩、成對(duì)幾何直方圖(pairwise geometrcal histogram，PGH)等進(jìn)行匹配，在匹配的過(guò)程中可根據(jù)地理位置坐標(biāo)縮小搜索范圍，加快匹配過(guò)程；然后，根據(jù)找到的對(duì)應(yīng)形狀，基于形狀上下文進(jìn)行輪廓配準(zhǔn)，得到輪廓上對(duì)應(yīng)的點(diǎn)對(duì)；最后，基于薄板樣條函數(shù)建立彈性變換模型，同時(shí)進(jìn)行數(shù)據(jù)融合，值得注意的是，兩幅圖像都應(yīng)是側(cè)掃。

2 試 驗(yàn)

為驗(yàn)證本文方法的有效性，分別進(jìn)行模擬試驗(yàn)及使用野外實(shí)測(cè)側(cè)掃聲吶圖像數(shù)據(jù)進(jìn)行試驗(yàn)。

2.1 模擬試驗(yàn)

模擬試驗(yàn)采用I1、I2、I3及I4等4幅圖像進(jìn)行(圖3中C1列)，其中,I1、I2為模擬圖形，且I1為規(guī)則五角星、I2為不規(guī)則圖形；I3、I4為側(cè)掃聲吶圖像，且I3為凹陷目標(biāo)、I4為凸起沉船目標(biāo)。使用imgaug圖像增強(qiáng)庫(kù)對(duì)圖像進(jìn)行隨機(jī)的分段仿射變換，來(lái)模擬圖像的局部形變，參數(shù)scale取0.01～0.06之間的隨機(jī)數(shù)，變換后的結(jié)果如圖3中C2列所示。可以看出，4幅圖像均得到了不同程度的局部變形，模擬試驗(yàn)通過(guò)變形前后輪廓匹配并計(jì)算變換參數(shù)，且使用變換參數(shù)對(duì)變形后的圖像進(jìn)行恢復(fù)，然后與原始圖像進(jìn)行比較，以評(píng)價(jià)本文提出算法的有效性。

首先采用OpenCV中的grabcut分割算法對(duì)圖像進(jìn)行簡(jiǎn)單的分割并提取輪廓，結(jié)果如圖3中C3列所示；然后，計(jì)算輪廓點(diǎn)的形狀上下文并使用1.1節(jié)描述的算法進(jìn)行輪廓點(diǎn)匹配，其中ε取值0.15，匹配的結(jié)果如圖3中C4列所示；最后，在找到對(duì)應(yīng)的輪廓點(diǎn)之后使用1.2節(jié)中描述算法進(jìn)行變換參數(shù)計(jì)算，其中λ取值0.25，根據(jù)計(jì)算得到的變換參數(shù)對(duì)目標(biāo)輪廓進(jìn)行恢復(fù)，結(jié)果如圖3中C5列所示。其中黑色點(diǎn)表示圖像恢復(fù)時(shí)的變形情況，從圖像上可以看出,進(jìn)行分段仿射變換的圖像中目標(biāo)的輪廓經(jīng)過(guò)恢復(fù)變換后與原始圖像中目標(biāo)的輪廓重合度較好。對(duì)于圖像I4的結(jié)果進(jìn)行局部放大,如圖4所示，其中(b)為輪廓點(diǎn)匹配結(jié)果的局部放大圖像，可以看出大部分輪廓點(diǎn)對(duì)得到了較好的匹配；(d)是根據(jù)變換參數(shù)恢復(fù)過(guò)來(lái)的圖像，可以看出經(jīng)TPS恢復(fù)的目標(biāo)形狀能夠較好地與原始圖像保持一致。

為了量化說(shuō)明試驗(yàn)結(jié)果，分別對(duì)每個(gè)圖像原始輪廓點(diǎn)數(shù)、分段仿射變換圖像上目標(biāo)輪廓點(diǎn)的個(gè)數(shù)、匹配上的點(diǎn)對(duì)數(shù)，以及圖像恢復(fù)變換后與原始圖像上對(duì)應(yīng)輪廓點(diǎn)之間的不符值中誤差進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果見表1。從表中可以看出，通過(guò)目標(biāo)形狀環(huán)境上下文匹配可以匹配到密集的點(diǎn)對(duì)，而且使用TPS插值函數(shù)函數(shù)建模，能夠有效描述圖像的局部形變，經(jīng)TPS恢復(fù)的目標(biāo)輪廓中誤差最大為1.72像素，最小為沉船，0.77像素。

表1 匹配與變形恢復(fù)結(jié)果

2.2 實(shí)測(cè)圖像試驗(yàn)

使用實(shí)測(cè)側(cè)掃聲吶數(shù)據(jù)進(jìn)行試驗(yàn)，試驗(yàn)的步驟及參數(shù)與模擬試驗(yàn)相同，不同的是圖5中C1列和C2列的側(cè)掃聲吶圖像來(lái)自于不同測(cè)量條帶對(duì)于相同目標(biāo)的測(cè)量結(jié)果?？梢悦黠@地看出，由于復(fù)雜的水下測(cè)量環(huán)境、側(cè)掃聲吶姿態(tài)改正不完全及測(cè)量角度不一致等問(wèn)題，側(cè)掃聲吶對(duì)于同一目標(biāo)的測(cè)量結(jié)果具有較大的差異，盡管有較大的畸變，但是整體上還是能夠看出一定的相似性。以C1列的圖像為參考圖像，將C2列的圖像作為需要變換的圖像，在經(jīng)過(guò)形狀上下文的配準(zhǔn)及TPS插值函數(shù)建模之后，C2列的圖像變換結(jié)果如C5列所示，盡管圖像局部畸變很大，但是經(jīng)過(guò)配準(zhǔn)并形變建模后，圖像可以很好地恢復(fù)成參考圖的形狀，需要說(shuō)明的是，C5列的圖像僅僅是由C2列圖像上每個(gè)像素點(diǎn)經(jīng)TPS計(jì)算出對(duì)應(yīng)位置取整填充所得，因此，圖像上存在空缺，用灰度值0填充。

同樣的，對(duì)試驗(yàn)結(jié)果進(jìn)行量化統(tǒng)計(jì)，結(jié)果見表2，成功匹配的點(diǎn)對(duì)數(shù)比較密集，最大不符值中誤差為2.3像素，因此，通過(guò)TPS建立的變換模型能夠有效地描述側(cè)掃聲吶圖像的局部畸變。

表2 實(shí)測(cè)側(cè)掃聲吶數(shù)據(jù)匹配及變形恢復(fù)結(jié)果

3 結(jié) 語(yǔ)

針對(duì)側(cè)掃聲吶圖像存在局部畸變的問(wèn)題，本文提出了一種基于輪廓的側(cè)掃聲吶圖像配準(zhǔn)方法。試驗(yàn)表明，本文方法不僅可以高效地獲得共視目標(biāo)輪廓上點(diǎn)的對(duì)應(yīng)關(guān)系，從而獲得大量的配準(zhǔn)點(diǎn)對(duì)，而且能夠通過(guò)TPS函數(shù)對(duì)局部變形進(jìn)行有效建模，這對(duì)于后面?zhèn)葤呗晠葓D像相鄰條帶拼接，以及側(cè)掃聲吶圖像與多波束地形疊加具有重要意義，是對(duì)現(xiàn)有基于SURF算子方法的補(bǔ)充。但同時(shí)也要注意到，本文方法需要準(zhǔn)確地分割結(jié)果，當(dāng)圖像比較雜亂時(shí)，效果會(huì)受到影響，未來(lái)可考慮通過(guò)增強(qiáng)并利用邊緣信息來(lái)改善算法性能。