鄒志遠(yuǎn)，安博文，曹 芳

(上海海事大學(xué) 信息工程學(xué)院，上海201306)

0 引 言

由于制冷型的紅外面陣傳感器價(jià)格昂貴，難以普及，在科研、工業(yè)、軍事方面普遍采用非制冷型紅外傳感器。非制冷型傳感器在工作一段時(shí)間后由于器件內(nèi)部的熱噪聲加大而使獲取的紅外圖像受到噪聲污染［1］，這些噪聲對(duì)于紅外圖像拼接產(chǎn)生了阻礙。

圖像拼接中Harris 配準(zhǔn)是一種基于圖像局部自相關(guān)函數(shù)分析的方法，該方法對(duì)噪聲光強(qiáng)、差異噪聲等有極好的魯棒性［2］。本文提出一種新的基于Harris 角點(diǎn)的拼接方法，保留了Harris 的強(qiáng)抗噪性，并提高紅外圖像的拼接效率。

1 Harris 角點(diǎn)檢測(cè)

1.1 角點(diǎn)檢測(cè)區(qū)域

傳統(tǒng)Harris 角點(diǎn)算法搜索范圍為整個(gè)圖像，本文圖像獲取系統(tǒng)獲取的640×480 紅外序列圖像經(jīng)過相位相關(guān)法［3］進(jìn)行位移量計(jì)算，統(tǒng)計(jì)結(jié)果表明:當(dāng)前獲取的圖像可視為前一張圖像在水平方向上的平移，且平移量Δx 在39 pixel波動(dòng)，則相鄰圖像之間的重疊率為

相鄰圖像具有圖1 的關(guān)系。

對(duì)于序列圖像而言，相鄰圖像的相似性很大，實(shí)際中，一般選取序列圖像的子集進(jìn)行拼接，本文選取序列圖像間隔為7，則選取后相鄰圖像的重疊率為64.41%。在拼接中，取參考圖像右側(cè)的64.41%，取輸入圖像左側(cè)的64.41%區(qū)域進(jìn)行角點(diǎn)檢測(cè)。

1.2 自適應(yīng)閾值選取

閾值T 在Harris 角點(diǎn)檢測(cè)中起到了重要作用，目前傳統(tǒng)算法中對(duì)閾值T的確定需要人為多次輸入?yún)?shù)，自適應(yīng)性差。針對(duì)這個(gè)問題，提出了一種自適應(yīng)閾值選取方法。

圖1 相鄰圖像幾何關(guān)系Fig 1 Geometric relationship of adjacent image

首先對(duì)圖像感興趣區(qū)域進(jìn)行角點(diǎn)檢測(cè)［4］，檢測(cè)過程中高斯模板大小為9×9，方差為2，得到圖像像素的CRF 矩陣。CRF 的大小描述了像素點(diǎn)的特性，其中需要對(duì)參數(shù)k按經(jīng)驗(yàn)值進(jìn)行選取，其推薦范圍為［0.04，0.06］，具有隨機(jī)性。根據(jù)數(shù)學(xué)原理差值法可改為比值法，將CRF 響應(yīng)函數(shù)改進(jìn)為

其中，Δ 取10－6，防止分母為0 的情況。

文獻(xiàn)［4］指出CRF 值在平坦區(qū)域是絕對(duì)值較小的正數(shù)，在邊緣區(qū)域是絕對(duì)值較大的負(fù)數(shù)，在角點(diǎn)處是一個(gè)絕對(duì)值較大的正數(shù)，如式(3)

式中 a 相對(duì)于b 來說很小，且有a，b 均大于0。δ1，δ2為波動(dòng)值，不同圖像δ1，δ2不同。假設(shè)角點(diǎn)檢測(cè)區(qū)域大小為M×N，其對(duì)應(yīng)的CRF 矩陣也為M×N，對(duì)CRF 矩陣的每行和每列值求平均值，會(huì)得到M 個(gè)行均值，N 個(gè)列均值，如圖2，其中圓點(diǎn)表示角點(diǎn)。

圖2 響應(yīng)函數(shù)矩陣Fig 2 Matrix of response function

對(duì)x 列和y 行來說，其上的角點(diǎn)數(shù)目多，所求得的均值要比x0列、y0行均值大，假設(shè)x 列和y 行上的角點(diǎn)為檢測(cè)區(qū)域中具有最多角點(diǎn)的行列，則它們對(duì)應(yīng)的均值大小要受角點(diǎn)處的CRF 值影響而偏向角點(diǎn)的CRF 值

假設(shè)x0列和y0行上的角點(diǎn)為檢測(cè)圖像上具有較少角點(diǎn)的行列，則其均值大小要近似于平坦區(qū)域的CRF 值

由式(4)，式(5)設(shè)計(jì)CRF 響應(yīng)閾值T 的大小為

采用此T 作為閾值進(jìn)行非極大值抑制。

2 改進(jìn)的基于幾何約束的RANSAC 算法

首先對(duì)圖像f1，f2檢測(cè)出的角點(diǎn)進(jìn)行雙向相似測(cè)度歸一化互相關(guān)(normalized cross correlation，NCC)算法［5］，得式(7)

式中 A 與A'，B 與B'，C 與C'，D 與D'等元素為互相匹配的角點(diǎn)。

H 矩陣求解是圖像拼接的核心環(huán)節(jié)，直接關(guān)系到拼接質(zhì)量的好壞［6］。傳統(tǒng)隨機(jī)抽樣一致性(random sampling consensus，RANSAC)算法的迭代時(shí)間取決于原始數(shù)據(jù)量和線內(nèi)點(diǎn)所占比例，當(dāng)線內(nèi)點(diǎn)比例低時(shí)，算法效率隨之變低［7］。針對(duì)這個(gè)問題，提出了一種幾何約束的RANSAC 算法。

假設(shè)任取4 對(duì)匹配點(diǎn)為A 與A'，B 與B'，C 與C'，D 與D'。如果它們均為正確的匹配點(diǎn)的話，則它們應(yīng)滿足圖3中的關(guān)系。

圖3 正確配準(zhǔn)的4 對(duì)匹配點(diǎn)Fig 3 Correctly matched four pairs of matching point

即A，B，C，D 四點(diǎn)在參考圖像中構(gòu)成的四邊形的4 個(gè)角1，2，3，4 與A'，B'，C'，D'四點(diǎn)在輸入圖像中構(gòu)成的四邊形4 個(gè)角1，2，3，4 應(yīng)相等。如果有1 對(duì)或以上的匹配點(diǎn)對(duì)沒有正確匹配，則2 個(gè)四邊形的4 個(gè)角不全相等，根據(jù)這個(gè)特性對(duì)RANSAC 算法進(jìn)行改進(jìn)。

首先在集合{A，B，C，D}或{A'，B'，C'，D'}任取兩點(diǎn)，它們?cè)诋?dāng)前圖像的坐標(biāo)為(x1，y1)，(x2，y2)，計(jì)算兩點(diǎn)連線的斜率K，然后判斷匹配點(diǎn)在兩圖中構(gòu)成的四邊形對(duì)應(yīng)角度值是否一樣，角度值計(jì)算按式(8)

角度值計(jì)算不取絕對(duì)值，取兩條直線的方向角。實(shí)際應(yīng)用中取一個(gè)閾值δ(本文為0.01，即0.573°)，如果4 對(duì)匹配點(diǎn)在兩圖像中構(gòu)成的四邊形滿足

則計(jì)算相應(yīng)的H 變換矩陣。其中，Ks，Kq表示當(dāng)前θi對(duì)應(yīng)邊的斜率，4 個(gè)角之積不為0 的條件用來排除共線的情況出現(xiàn)。

3 實(shí)驗(yàn)結(jié)果與比較

成像分辨率為640×480，位深為14 位，噪聲等效溫差為50 mK。計(jì)算機(jī)內(nèi)存為4 GB;CPU Intel(R)Core(TM)i5—2500;系統(tǒng)平臺(tái)為32 位WinXP 系統(tǒng);軟件實(shí)施平臺(tái)為L(zhǎng)ab－VIEW 2012。

3.1 角點(diǎn)檢測(cè)結(jié)果比較

對(duì)圖4 中的4 組圖像采用傳統(tǒng)Harris 檢測(cè)、本文算法檢測(cè)，并對(duì)二種方法進(jìn)行比較。傳統(tǒng)Harris 檢測(cè)中的CRF響應(yīng)閾值由多次手動(dòng)測(cè)定，本文算法采用提出的自適應(yīng)閾值T，兩種方法均對(duì)當(dāng)前CRF 值的9×9 鄰域進(jìn)行非極大值抑制、均用7×7，方差為2 的高斯模板。角點(diǎn)粗匹配采用NCC 方法;角點(diǎn)細(xì)匹配采用改進(jìn)的RANSAC 算法隨機(jī)抽樣方法［8］，最大迭代次數(shù)設(shè)為30。

圖4 4 組紅外圖像Fig 4 Four groups of infrared images

針對(duì)以上4 組圖像比較二種算法可知，本文算法根據(jù)圖像空間特性減少搜索區(qū)域，比傳統(tǒng)算法快20～51 ms，效率提升20%以上，此外搜索區(qū)域的減少，誤匹配的角點(diǎn)對(duì)也減少，對(duì)于圖像內(nèi)容分布均勻的圖像，誤匹配對(duì)可以降低50%左右。綜合表1～表4 可知，本文提出的自適應(yīng)閾值T可以保留足夠多的角點(diǎn)數(shù)目并獲得準(zhǔn)確的匹配點(diǎn)對(duì)。

表1 第1 組圖像角點(diǎn)檢測(cè)結(jié)果Tab 1 Corner point detection result of the 1st group image

表2 第2 組圖像角點(diǎn)檢測(cè)結(jié)果Tab 2 Corner piont detection result of the 2 nd group image

表3 第3 組圖像角點(diǎn)檢測(cè)結(jié)果Tab 3 Corner point detection result of the 3 rd group image

表4 第4 組圖像角點(diǎn)檢測(cè)結(jié)果Tab 4 Corner point detection result of the 4 th group image

3.2 RANSAC 比較

對(duì)本文算法檢測(cè)出的Harris 角點(diǎn)進(jìn)行NCC 粗匹配后，分別采用改進(jìn)的RANSAC 方法［8］和本文改進(jìn)的RANSAC方法進(jìn)行角點(diǎn)細(xì)匹配，設(shè)置RANSAC 方法最大迭代次數(shù)為30。三種方法分別運(yùn)行10 次后取平均值，結(jié)果如表5。

表5 角點(diǎn)匹配結(jié)果比較Tab 5 Matching result comparison of corner points

表5 可知，經(jīng)過4θ 約束的RANSAC 算法可以降低迭代次數(shù)，減少計(jì)算量，迅速達(dá)到理想的內(nèi)點(diǎn)數(shù)，算法效率提高了50%以上。

3.3 試驗(yàn)效果圖像

圖5 為實(shí)驗(yàn)圖像配準(zhǔn)步驟的效果圖，算法檢測(cè)出的誤匹配點(diǎn)用直線連接。

4 結(jié) 論

圖5 配準(zhǔn)各步驟效果圖Fig 5 Effect diagram of each step of registration

本文對(duì)基于Harris 的拼接算法進(jìn)行改進(jìn)，使得算法不受非制冷大面陣紅外傳感器產(chǎn)生的噪聲影響。改進(jìn)的算法縮小Harris角點(diǎn)檢測(cè)范圍，進(jìn)而使角點(diǎn)檢測(cè)的計(jì)算量減少，提高檢測(cè)速度，同時(shí)降低誤匹配，使紅外圖像角點(diǎn)檢測(cè)效率提高了20%。根據(jù)圖像中像素的Harris 角點(diǎn)響應(yīng)函數(shù)值的特性改進(jìn)的自適應(yīng)篩選閾值，保存了合理的角點(diǎn)數(shù)目，并使角點(diǎn)檢測(cè)具有自動(dòng)性。改進(jìn)的4θ 約束的RANSAC 算法保證算法精度的前提下，算法效率提高了50%。但是改進(jìn)的自適應(yīng)閾值還不能很好地避免角點(diǎn)聚簇現(xiàn)象，這需要在減少角點(diǎn)聚簇方面做進(jìn)一步改進(jìn)。

［1］ 李云紅.基于紅外熱像儀的溫度測(cè)量技術(shù)及其應(yīng)用研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)，2010.

［2］ 樊志華，王春鴻，饒長(zhǎng)輝，等.基于Harris 角點(diǎn)量與相位相關(guān)的亞像素級(jí)圖像配準(zhǔn)方法［J］.計(jì)算機(jī)應(yīng)用研究，2011，28(2):788－790.

［3］ 趙 征，徐 濤，席鵬程.一種抵抗幾何變換攻擊的數(shù)字圖像水印方法［J］.南京航天航空大學(xué)學(xué)報(bào)，2005，37(1):70－74.

［4］ 馮宇平.圖像快速配準(zhǔn)與自動(dòng)拼接技術(shù)研究［D］.長(zhǎng)春:中國(guó)科學(xué)院研究生院長(zhǎng)春精密機(jī)械與物理研究所，2010.

［5］ 龔 平，劉相濱，周 鵬.一種改進(jìn)的Harris 角點(diǎn)檢測(cè)算法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(11):173－175.

［6］ 李會(huì)平.圖像拼接技術(shù)研究與應(yīng)用［D］.西安:西安科技大學(xué)，2010.

［7］ 張曉茹，肖 珂.基于角點(diǎn)匹配圖像拼接方法的改進(jìn)［J］.河北農(nóng)業(yè)大學(xué)報(bào)，2008，31(4):155－158.

［8］ 王家寶，張亞非，陸建江，等.基于特征的航空視頻序列拼接方法［J］.解放軍理工大學(xué)學(xué)報(bào)，2012，12(2):160－164.