李宏升，張 健

（黃淮學(xué)院 信息工程學(xué)院，河南 駐馬店463000）

1 引 言

將多幅在不同時(shí)刻、從不同視域的圖像經(jīng)過(guò)對(duì)齊無(wú)縫地融合，得到一幅大視域、各圖像序列信息高分辨率的圖像［1］，同時(shí)壓縮了信息存儲(chǔ)量，以滿足人們觀察、瀏覽大范圍場(chǎng)景的需要。比如將360°所拍攝的多張圖片合成一張圖片可觀察到周圍的全部情況，因此對(duì)紅外預(yù)警、遙感圖像處理、虛擬漫游系統(tǒng)、計(jì)算機(jī)圖形全景瀏覽等領(lǐng)域有著廣泛的應(yīng)用價(jià)值［2］。

目前圖像拼接研究中：基于多重投影拼接，通過(guò)中心投影的射影變換，防止了視覺(jué)差出現(xiàn)［3］，無(wú)法適應(yīng)大數(shù)據(jù)量圖像的融合；基于仿射變換的拼接，水平視角不受限制［4］，但是垂直方向上的視場(chǎng)有限制；基于圖像檢索的圖像拼接，通過(guò)劃分圖像小塊與數(shù)據(jù)庫(kù)圖像替換為新圖像，不受視覺(jué)限制［5］，但是使用的時(shí)候需要大規(guī)模圖像數(shù)據(jù)庫(kù)支持；基于區(qū)域相關(guān)的拼接算法，以灰度值的差異化進(jìn)行圖像拼接，實(shí)現(xiàn)簡(jiǎn)單［6］，但是如果圖像亮度、對(duì)比度的變化則導(dǎo)致拼接失??；基于特征相關(guān)的拼接算法，以圖像特征對(duì)重疊部分進(jìn)行搜索匹配，具有較高的健壯性和魯棒性［7］，但是不同圖像的相似度測(cè)量比較復(fù)雜。

本文采用基于小波粗糙集算法對(duì)圖像拼接，首先基于自適應(yīng)小波變換對(duì)圖像分解，小波方向的對(duì)比度設(shè)定閾值平衡圖像內(nèi)各個(gè)對(duì)象的差異；然后對(duì)分解圖像特征點(diǎn)的粗糙決策屬性來(lái)劃分重疊區(qū)域，比較計(jì)算參考圖像與輸入圖像特征向量因數(shù)集的歐氏距離約簡(jiǎn)規(guī)則選擇特征點(diǎn)，通過(guò)平均值法消除拼接縫隙；接著給出了算法流程和評(píng)價(jià)指標(biāo)；最后實(shí)驗(yàn)仿真顯示本文算法拼接縫隙區(qū)域過(guò)渡光滑，視覺(jué)效果連續(xù)，沒(méi)有出現(xiàn)重疊鬼影，評(píng)價(jià)指標(biāo)較好。

2 小波粗糙集算法

2.1 基于小波變換的圖像分解

2.1.1 自適應(yīng)小波分解

多級(jí)小波變換將圖像分解為高、低頻圖像，在低頻狀態(tài)下對(duì)目標(biāo)圖像進(jìn)行粗匹配，在上一級(jí)進(jìn)行精匹配，減少了計(jì)算量，提目標(biāo)高搜索效率。但是若干次小波分解使圖像一些關(guān)鍵特征丟失，比如在高頻圖像上難以提取特征，低頻圖像的灰度信息過(guò)少而影響拼接的精度［8－10］，圖像f（i，j）大小自適應(yīng)地選取進(jìn)行小波分解的次數(shù)n，小波分解后的圖像大小為f′（i，j），則：

式中：δ為閾值，本文控制為400×400。

相應(yīng)的小波重構(gòu)算法為：

其中：φ 和ψ 為相應(yīng)的尺度函數(shù)和小波函數(shù)，φ（i）和ψ（i）為沿i方向分析，沿j方向分別用φ（j）和ψ（j）做類似分析，f（j）（i，j）是沿j 方向的平滑逼近，其余三路輸出為水平Zjh（i，j）、垂直Z（jv）（i，j）、對(duì)角Z（jd）（i，j）φ。

2.1.2 局部對(duì)比度改善

小波多分辨率分析忽略了高頻子帶和低頻子帶的對(duì)比度關(guān)系，為了平衡圖像內(nèi)各個(gè)對(duì)象的差異，更加適合人眼的生理視覺(jué)特點(diǎn)［11］，根據(jù)蒲恬等人思想并結(jié)合工程經(jīng)驗(yàn)中局部對(duì)比度的概念［12］，小波方向的對(duì)比度設(shè)定閾值為：

式中：Kjh 是第j 層分解的水平對(duì)比度；Kjv 是第j層分解的垂直對(duì)比度；Kjd 是第j 層分解的對(duì)角對(duì)比度；fjt為第j 層分解的低頻近似分量；Zjh、Zjv、Zjd 分別是第j 層分解的水平、垂直、對(duì)角的高頻分量。σjh 為水平對(duì)比度設(shè)定閾值，σjv 為垂直對(duì)比度設(shè)定閾值，σjd 為對(duì)角對(duì)比度設(shè)定閾值。

在重疊區(qū)域的待拼接特征像素點(diǎn)，雖然它們?cè)谖恢蒙舷鄬?duì)應(yīng)，但由于其特征像素值并不完全相同，對(duì)圖像重疊區(qū)域進(jìn)行平滑處理即可。

2.2 基于粗糙集的特征匹配

2.2.1 分解圖像特征點(diǎn)的粗糙決策屬性

粗糙集是屬性約簡(jiǎn)通過(guò)對(duì)象的知識(shí)對(duì)原始數(shù)據(jù)進(jìn)行分析，保持信息系統(tǒng)分類能力不變，導(dǎo)出與原始數(shù)據(jù)具有相同決策能力的最小集合，降低數(shù)據(jù)的需求量和處理復(fù)雜度［13］。

一個(gè)知識(shí)系統(tǒng)為：S＝（U，A，V，F(xiàn)，f，D），其中：論域圖像樣本空間U＝（U1，U2，…，U｜u｜）為有限非空集合，圖像候選特征點(diǎn)向量因數(shù)條件屬性集合A＝（a1，a2，…，a｜A｜）為有限非空集合，V＝∪Va，其中a∈A，Va為屬性a 的值域；f：U×AV 為信息函數(shù)，對(duì)于a∈A、x∈U、f（x，a）∈Va，D＝（d1，d2，…，d｜d｜）為決策屬性集。極小子集A0使得RA0（D）＝RA（D），其中R 表示屬性重要性歐氏距離約簡(jiǎn)規(guī)則。

設(shè)R 是分解圖像f′（i，j）上的等價(jià)關(guān)系，則f′（i，j）產(chǎn)生的等價(jià)類劃分集，其中劃分的每個(gè)小區(qū)域均是一個(gè)等價(jià)類［14］，為：

其中：［x］R＝｛y｜（x，y）∈R ｝那么f′（i，j）與R 的集合體｛f′（i，j），R ｝為近似空間。若f～∈f′（i，j）拼接圖像粗糙集空間的上近似為：

則粗糙集空間的下近似為：

通過(guò)空間的劃分，把上近似在基于屬性子集R 的劃分區(qū)域被劃分到對(duì)象集合f～（i，j）中，下近似有可能被劃分到對(duì)象集合f～（i，j）中［15］。

2.2.2 特征點(diǎn)歐氏距離與屬性置信度計(jì)算

通過(guò)比較計(jì)算參考圖像與輸入圖像特征向量因數(shù)集的歐氏距離約簡(jiǎn)規(guī)則，以此作為特征點(diǎn)匹配的依據(jù)提取出初始特征點(diǎn)對(duì)，其公式如下：

其中：Mi、M⌒j分別表示參考圖像和輸入圖像的矩，歐氏距離h越小特征點(diǎn)越相似，計(jì)算參考圖像中的特征點(diǎn)與輸入圖像中的每一個(gè)特征點(diǎn)的歐氏距離，并把輸入圖像中歐氏距離最小的點(diǎn)作為參考圖像中特征點(diǎn)的匹配點(diǎn)。然后依次計(jì)算出參考圖像中每一個(gè)特征點(diǎn)在輸入圖像的匹配點(diǎn)［16］。

屬性Ai單邊個(gè)數(shù)與所有屬性單邊個(gè)數(shù)之和的比值為屬性的置信度：

當(dāng)樣本空間很大且決策表中所有條件屬性都絕對(duì)不可約簡(jiǎn)時(shí)，通過(guò)置信度可以進(jìn)行近約簡(jiǎn).若置信度條件為（100－α）%，則可將所有屬性置信度小于α%的條件屬性約去［17］。

2.2.3 拼接消縫

當(dāng)拼接圖像重疊區(qū)域有較大差異時(shí)，造成拼接后的圖像存在拼接縫隙，采用平均值法消除拼接縫隙［18］，設(shè)f1（i，j）和f2（i，j）為待拼接圖像，f3（i，j）為拼接后圖像，則有：

式中：w1和w2表示重疊區(qū)域中所有相應(yīng)像素的強(qiáng)度值之差平方和最小值。這樣在拼接后，實(shí)現(xiàn)圖像的上下，左右以及斜方向的無(wú)縫拼接，適于視覺(jué)觀察。

2.3 算法過(guò)程

①輸入待拼接圖像；

②自適應(yīng)小波變換對(duì)其分解，同時(shí)局部對(duì)比度改善；

③依據(jù)粗糙屬性約簡(jiǎn)提取圖像特征點(diǎn)；

④滿足設(shè)定的特征點(diǎn)歐氏距離，則轉(zhuǎn)置步驟③；

⑤屬性置信度優(yōu)化與消除拼接縫隙；

⑥輸出拼接圖像。

2.4 評(píng)價(jià)指標(biāo)

2.4.1 信息熵

信息熵越大，則圖像的信息豐富，對(duì)比度好，細(xì)節(jié)突出［19］，其計(jì)算公式為：

式中：q表示圖像灰度等級(jí)；P（q）表示在重疊區(qū)域圖像中像素的灰度值為q時(shí)的概率。

2.4.2 平均梯度

平均梯度評(píng)價(jià)圖像的模糊程度［20］，其定義為：

其中：M 和N 為重疊區(qū)域大?。籊i和Gj分別為圖像沿i和j 方向的差分。平均梯度越大，則像層次越多，也就越清晰。

2.4.3 標(biāo)準(zhǔn)偏差

高對(duì)比度的圖像對(duì)應(yīng)大的標(biāo)準(zhǔn)偏差，其標(biāo)準(zhǔn)偏差：

3 實(shí)驗(yàn)仿真

3.1 圖像拼接對(duì)比效果

使用數(shù)碼相機(jī)在區(qū)域固定進(jìn)行拍攝，采集相鄰3幅圖像間的重疊范圍均在35%～55%。拍攝過(guò)程中鏡頭允許存在一定俯仰，相鄰圖像間允許存在一定范圍內(nèi)的亮度差。拍攝3幅待拼接的圖像如圖1所示。

圖1 待拼接的圖像Fig.1 To be mosaic image

算法程序是Matlab7.0與VC＋＋混合編程實(shí)現(xiàn)，小波粗糙集算法與本文涉及到的其他具有代表性的算法進(jìn)行對(duì)比，其拼接效果如圖2所示。

圖2 各算法全景拼接對(duì)比效果Fig.2 Comparative effects of each algorithm

本文算法圖2中（a）的全景拼接縫隙區(qū)域過(guò)渡光滑，視覺(jué)連續(xù)，效果較好，沒(méi)有出現(xiàn)重疊鬼影拼接，其他算法的圖像中縫隙處有明顯拼接痕跡，圖像過(guò)渡部分不自然，這時(shí)因?yàn)楸疚乃惴ㄊ亲赃m應(yīng)控制小波分解的次數(shù)，再通過(guò)區(qū)域像素對(duì)象的粗糙條件屬性和它們的粗糙屬性值來(lái)進(jìn)行匹配，對(duì)3幅圖像的非重疊區(qū)域直接取各自的灰度值，對(duì)重疊區(qū)域采用平均值法消除拼接縫隙。

3.2 評(píng)價(jià)指標(biāo)對(duì)比

通過(guò)客觀評(píng)價(jià)指標(biāo)對(duì)本文算法以及其他算法進(jìn)行分析，其結(jié)果如表1所示。

表1 評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparative evaluation

從表1中的數(shù)據(jù)可以看出，本文算法執(zhí)行時(shí)間少，有效提升了圖像拼接速度，同時(shí)拼接所含圖像的信息量較大，為觀察圖像細(xì)節(jié)提供了依據(jù)，平均梯度大，使像層次多清晰度高，標(biāo)準(zhǔn)偏差較大使對(duì)比度比較高，其他算法的檢測(cè)指標(biāo)均差于本文算法。

4 結(jié) 論

基于小波粗糙集算法對(duì)全景圖像拼接，首先基于自適應(yīng)小波變換對(duì)圖像分解，小波方向的對(duì)比度設(shè)定閾值平衡圖像內(nèi)各個(gè)對(duì)象的差異；然后對(duì)分解圖像特征點(diǎn)的粗糙決策屬性來(lái)劃分重疊區(qū)域，比較計(jì)算參考圖像與輸入圖像特征向量因數(shù)集的歐氏距離約簡(jiǎn)規(guī)則選擇特征點(diǎn)，通過(guò)平均值法消除拼接縫隙；接著給出了算法流程和評(píng)價(jià)指標(biāo)。最后實(shí)驗(yàn)仿真顯示，本文算法拼接縫隙區(qū)域過(guò)渡光滑，視覺(jué)效果連續(xù)，沒(méi)有出現(xiàn)重疊鬼影，評(píng)價(jià)指標(biāo)較好。

［1］ 陳德印.360度全場(chǎng)景多目標(biāo)識(shí)別與跟蹤算法的研究與實(shí)現(xiàn)［D］.南京：南京郵電大學(xué)，2013.Chen D Y.Research and implementation of 360degree full scene multiple target recognition and tracking algorithm［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.（in Chinese）

［2］ 王志剛，夏漢鑄.一種基于魚(yú)眼圖像的全景展開(kāi)算法［J］.通信技術(shù)，2012，45（7）：65－66，71.Wang Z G，Xia H Z.A panoramic unwrapping algorithm based on fish－eye image［J］.Communications Technology，2012，45（7）：65－66，71.（in Chinese）

［3］ 周強(qiáng).多重集相關(guān)投影分析與特征融合研究［D］.南京：南京理工大學(xué)，2011.Zhou Q.Study on the integration of multiple sets of correlation projection analysis and feature［D］.Nanjing：Nanjing University of Posts and Telecommunications，2011.（in Chinese）

［4］ 高保平，白瑞林.軸承壓印字符自動(dòng)識(shí)別算法的研究［J］.電視技術(shù)，2012，36（9）：142－145.GAO B P，BAI R L.Study on automatic recognition algorithm of pressed characters on bearing［J］.Video Engineering，2012，36（9）：142－145.（in Chinese）

［5］ 余勝，謝莉，成運(yùn).基于顏色和基元特征的圖像檢索［J］.計(jì)算機(jī)應(yīng)用，2013，33（6）：1674－1676.Yu S，Xie L，Cheng Y.Image retrieval based on color and motif characteristics［J］.Journal of Computer Applications，2013，33（6）：1674－1676.（in Chinese）

［6］ 馬超杰，李連喜.基于SURF特征相關(guān)的紅外圖像自動(dòng)拼接［J］.淮海工學(xué)院學(xué)報(bào)，2013，22（1）：19－21.Ma C J，Li L X.Infrared image automatic mosaic method based on SURF feather correlation［J］.Journal of Huaihai Institute of Technology，2013，22（1）：19－21.（in Chinese）

［7］ 紀(jì)東升.基于特征點(diǎn)的圖像拼接算法研究［D］.蘭州：蘭州理工大學(xué)，2011.Ji D S.Research on image mosaic algorithm based on feature points［D］.Lanzhou：Lanzhou University of Technology，2011.（in Chinese）

［8］ 王學(xué)偉，王世立，李珂.基于偽中值濾波和小波變換的紅外圖像增強(qiáng)方法［J］.激光與紅外，2013，43（1）：90－93.Wang X W ，Wang S L，Li K.Infrared image enhancement based on pseudo median filter and wavelet transformation［J］.Laser ＆Infrared，2013，43（1）：90－93.（in Chinese）

［9］ 李釗寶，周銘，顧莉.基于小波變換的相似多目標(biāo)識(shí)別算法研究［J］.科技通報(bào)，2013，29（3）：120－124.Li Z B，Zhou M，Gu L.The identification algorithm of similarity multiple targets based on Wavelet transform［J］.Bulletin of Science and Technology，2013，29（3）：120－124.（in Chinese）

［10］ 丁南南，劉艷瀅，朱明.尺度相互作用墨西哥帽小波提取圖像特征點(diǎn)［J］.液晶與顯示，2012，27（1）：125－129.Ding N N，Liu Y Y，Zhu M .Extracting image feature points using scale－interaction of Mexican－h(huán)at wavelets［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（1）：125－129.（in Chinese）

［11］ 姚軍財(cái).基于人眼對(duì)比度敏感視覺(jué)特性的彩色圖像壓縮技術(shù)［J］.液晶與顯示，2012，27（6）：800－807.Yao J C.Color image compression technology based on contrast sensitivity characteristics of human vision system［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（6）：800－807.（in Chinese）

［12］ 蒲恬，方慶吉，倪國(guó)強(qiáng).基于對(duì)比度的多分辨率圖像融合［J］.電子學(xué)報(bào)，2000，28（12）：116－118.Pu T，F(xiàn)ang Q J，Ni G Q.Multi resolution image fusion based on contrast［J］.Acta Electronica Sinica，2000，28（12）：116－118.（in Chinese）

［13］ 胡燕，王慧琴，秦薇薇，等.基于粗糙集的火災(zāi)圖像特征選擇與識(shí)別［J］.計(jì)算機(jī)應(yīng)用，2013，33（3）：704－707.Hu Y，Wang H Q，Qin W W，et al.Fire image features selection and recognition based on rough set［J］.Journal of Computer Applications，2013，33（3）：704－707.（in Chinese）

［14］ 邵迎超，杜召彬，楊霽琳，等.軟模糊粗糙集［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49（10）：125－128.Shao Y Y，Du Z B，Yang Q L，et al.Soft fuzzy rough sets［J］.Computer Engineering and Applications，2013，49（10）：125－128.（in Chinese）

［15］ 王學(xué)恩，韓崇昭，韓德強(qiáng)，等.粗糙集研究綜述［J］.控制工程，2013，20（1）：1－8.Wang X E，Han C Z，Han D Q，et al.A survey of rough sets theory［J］.Control Engineering of China，2013，20（1）：1－8.（in Chinese）

［16］ 李淑尚，李雷達(dá)，何霽野，等.結(jié)合特征點(diǎn)與極諧變換的圖像拼接［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49（3）：234－237.Li S S，Li L D，He J Y，et al.Image mosaic combining feature point and polar harmonic transform ［J］.Computer Engineering and Applications，2013，49（3）：234－237.（in Chinese）

［17］ 盧鵬，王錫淮，肖健梅.基于粗糙集和圖論的電力系統(tǒng)故障診斷方法［J］.控制與決策，2013，48（4）：511－516，524.Lu P，Wang X Z，Xiao J M.Method of fault diagnosis in power system based on rough set theory and graph theory［J］.Control and Decision，2013，48（4）：511－516，524.（in Chinese）

［18］ 李軍，吳潔明.一種改進(jìn)圖像拼接算法的仿真研究［J］.計(jì)算機(jī)仿真，2012，29（2）：273－276.Li J，Wu J M.Simulation research on improved image mosaic algorithm ［J］.Computer Stimulation，2012，29（2）：273－276.（in Chinese）

［19］ 林小平，周石琳，張官亮，等.一種基于蟻群算法和互信息測(cè)度的圖像拼接技術(shù)［J］.重慶理工大學(xué)學(xué)報(bào)，2013，27（1）：76－81.Lin X P，Zhou S L，Zhang G L，et al.An image mosaic technology based on ant colony algorithm and mutual information measure［J］.Journal of Chongqing Institute of Technology，2013，27（1）：76－81.（in Chinese）

［20］ 臧媛媛，王正勇，卿粼波.PTZ視頻監(jiān)控的大場(chǎng)景形成方法研究［J］.四川大學(xué)學(xué)報(bào)，2011，48（3）：577－583.Zang Y Y，Wang Z Y，Qing L B.The formation approach of wide－area scene in PTZ video surveillance［J］.Journal of Sichuan University，2011，48（3）：577－583.（in Chinese）