顧 昊，徐 亮，郁建橋，陳啟美

(1.南京大學(xué)電子科學(xué)與工程學(xué)院，江蘇 南京 210093;2.江蘇省環(huán)境監(jiān)測中心，江蘇 南京210036)

·信息應(yīng)用·

一種基于游弋圖像的水域監(jiān)視鳥瞰圖成像系統(tǒng)

顧 昊1，徐 亮2，郁建橋2，陳啟美1

(1.南京大學(xué)電子科學(xué)與工程學(xué)院，江蘇 南京 210093;2.江蘇省環(huán)境監(jiān)測中心，江蘇 南京210036)

針對各類水域污染日趨嚴(yán)重而傳統(tǒng)水質(zhì)監(jiān)測方式離散、范圍受限等不足，構(gòu)建了基于游弋圖像的水域鳥瞰圖成像系統(tǒng)，實(shí)現(xiàn)大范圍實(shí)時(shí)、連續(xù)監(jiān)控。使用偏振設(shè)備消除水面反光，得到清晰的水面圖像。設(shè)計(jì)了攝像機(jī)內(nèi)外參標(biāo)定的方法，在線獲得狀態(tài)參數(shù);提出了自適應(yīng)空洞填補(bǔ)的策略，消除了由透視圖映射至鳥瞰圖時(shí)產(chǎn)生的圖像空洞;結(jié)合GPS信息和圖像特征配準(zhǔn)技術(shù)，獲取了由船載攝像機(jī)視頻序列拼合成的鳥瞰全景圖像。該方法具有分辨率高、實(shí)時(shí)性強(qiáng)、監(jiān)測范圍廣和使用成本低等優(yōu)勢。

偏振;監(jiān)測;標(biāo)定;圖像映射;圖像融合;圖像拼接

水質(zhì)監(jiān)測是水質(zhì)評價(jià)與水污染防治的主要依據(jù)，目前中國內(nèi)陸水體水面監(jiān)視主要采取固定攝像機(jī)監(jiān)控、人工巡邏監(jiān)控、遙感監(jiān)測等3種方法。其中固定攝像機(jī)監(jiān)控需要昂貴的網(wǎng)絡(luò)租賃費(fèi)用，監(jiān)控范圍有限，畫質(zhì)也不夠流暢;人工巡邏監(jiān)控受主觀限制，難以統(tǒng)一評價(jià)標(biāo)準(zhǔn)，因而無法獲取量化數(shù)據(jù);遙感監(jiān)測利用衛(wèi)星成像，價(jià)格昂貴而且成像效果易受天氣狀況制約［1］。

針對現(xiàn)有技術(shù)存在的不足，提出了一種簡便易行，精度高且效果良好的水面監(jiān)測方法。

1 系統(tǒng)架構(gòu)

基于游弋圖像的水域鳥瞰圖成像系統(tǒng)，包含視頻預(yù)處理模塊、攝像機(jī)標(biāo)定模塊、圖像變換模塊和圖像拼接模塊，能夠?qū)z像機(jī)側(cè)視圖像序列變換合成大范圍水面俯視圖。其算法流程如圖1所示，主要包括以下步驟:

(1)視頻預(yù)處理:在成像階段使用光學(xué)偏振器件消除水面波光，降低干擾。

(2)攝像機(jī)標(biāo)定:自適應(yīng)計(jì)算攝像機(jī)內(nèi)外參數(shù)，獲取從側(cè)視圖到俯視圖的轉(zhuǎn)換矩陣。

(3)圖像變換:利用轉(zhuǎn)換矩陣進(jìn)行圖像映射，并填補(bǔ)映射造成的空洞。

(4)圖像拼接:對變換后的視頻序列進(jìn)行圖像拼接，獲取大范圍鳥瞰圖。

圖1 水面鳥瞰成像系統(tǒng)流程

2 視頻預(yù)處理

攝像機(jī)接收湖面的反射光線進(jìn)行成像，來自湖面的反射光包括水面的鏡面反射和水中物體的漫反射。所需要的水面信息來自漫反射，但鏡面反射部分亮度很高，使成像結(jié)果表現(xiàn)為亮斑，無法看清水面，故必須加以去除。數(shù)字圖像處理的波光去除方法并不能真實(shí)還原水面圖像，而且會降低圖像質(zhì)量。由于漫反射光和太陽光一樣屬于自然光，而鏡面反射光是偏振光，故可采用加裝偏振片的方法予以濾除。如圖2所示，在攝像機(jī)前加裝偏振片，調(diào)節(jié)其偏振方向，使之與鏡面反射光偏振方向垂直，從而使鏡面反射光無法穿過偏振片，攝像機(jī)得到有用的水面圖像。如圖3所示，加裝偏振片前，水面有明顯的亮光，經(jīng)偏振處理后，可清晰看到水中的藍(lán)藻［2］。

3 鳥瞰圖成像

3.1 攝像機(jī)標(biāo)定

在經(jīng)典Tsai模型的基礎(chǔ)上，針對監(jiān)測系統(tǒng)性能要求和水面成像特點(diǎn)，進(jìn)行相應(yīng)修正，提出圖4所示的視覺模型［3］。

圖4 攝像機(jī)成像模型

鑒于船艇游歷過程中世界坐標(biāo)系不斷變化，而固定攝像機(jī)內(nèi)參不變，故采用內(nèi)外參分別標(biāo)定的方法。首先在室內(nèi)實(shí)驗(yàn)環(huán)境下完成內(nèi)參標(biāo)定，采用基于標(biāo)定模板的四點(diǎn)標(biāo)定法，以保證精度。外參進(jìn)行在線標(biāo)定，通過提取地平線位置實(shí)現(xiàn)。

圖5顯示了抽象的船載攝像機(jī)模型，假設(shè)攝像機(jī)鏡頭相對于水平面的旋角為0，相對于船行駛方向的偏角為0，若非0可通過調(diào)整使然，因此只需求解傾角t。當(dāng)圖像中地平線可見時(shí)，根據(jù)式(1)利用地平線縱坐標(biāo)值vs0求解傾角t。

圖5 船載攝像機(jī)模型

3.2 圖像變換

通過標(biāo)定模塊獲得成像矩陣后，可以直接進(jìn)行相機(jī)獲取的側(cè)視圖和目的俯視圖之間的轉(zhuǎn)換。如圖6所示，俯視圖中點(diǎn)(X，Y)對應(yīng)參考圖中的(x，y)，二者相互關(guān)系由映射矩陣P銜接。對于參考域中的點(diǎn)(x，y)，可以直接計(jì)算出其在目的域中的坐標(biāo)(X，Y)，將像素值賦給目的坐標(biāo)即可。通常計(jì)算出的(X，Y)非整數(shù)點(diǎn)，取最鄰近的整數(shù)點(diǎn)代替。由于俯視圖中遠(yuǎn)景分辨率低，近景分辨率高，正向映射會導(dǎo)致很多空洞的出現(xiàn)，必須進(jìn)行空洞填補(bǔ)操作以保證圖像信息的完整。由于側(cè)視圖到俯視圖的轉(zhuǎn)化生成的空洞具有近小遠(yuǎn)大、分布規(guī)則的特點(diǎn)，采取近處利用splatting方法，遠(yuǎn)處采用網(wǎng)格填補(bǔ)的策略(圖 7)，結(jié)果如圖 8 所示［4，5］。

3.3 圖像拼接及融合

對攝像機(jī)獲取的每一幀圖像，利用差分GPS設(shè)備精確獲取攝像機(jī)位置，再根據(jù)自動(dòng)在線標(biāo)定的攝像機(jī)狀態(tài)參數(shù)計(jì)算出圖像對應(yīng)的實(shí)際地理位置，對相關(guān)數(shù)據(jù)進(jìn)行賦值，巡邏艇經(jīng)過的周圍水域均可完成成像。對于湖面信息特別豐富、分辨率要求很高的地點(diǎn)，采用特征匹配的拼接算法，利用SIFT算子進(jìn)行圖像匹配，RANSAC算法進(jìn)行圖像轉(zhuǎn)換，重疊部分采用最佳縫合線算法定位拼縫，然后采用匹配二階統(tǒng)計(jì)灰度值的亮度調(diào)和算法:設(shè)基準(zhǔn)圖像A和待拼接圖像B的平均灰度值分別為μA和μB，標(biāo)準(zhǔn)差分別為 σA和 σB，在配準(zhǔn)的(m，n)點(diǎn)，有

對配準(zhǔn)后不重疊的區(qū)域，利用直方圖均衡化方法以及羽化算法進(jìn)行處理，消除了鬼影和曝光差異，最終獲得高精度的湖面圖像［6－9］。

4 實(shí)驗(yàn)結(jié)果

系統(tǒng)采用Core i7 E5520處理器，3 GB DDR3內(nèi)存，500 GB硬盤，?？礑S-4008HC視頻采集卡，在SUSE11.1操作系統(tǒng)下開發(fā)。如圖9所示，太湖流域可看成內(nèi)接于一個(gè)矩形。由于該成像方法分辨率較高，用單幅圖像表示處理較困難，因此將整個(gè)太湖水域劃分為30×30個(gè)正方形區(qū)域。從東經(jīng)119.85°到 120.6°，北緯 30.87°到 31.62°，每塊區(qū)域代表2500 m×2500 m大小，以一個(gè)1000×1000像素的圖像表示，精度達(dá)到2.5 m。根據(jù)實(shí)際需要，可以通過提高單個(gè)圖像分辨率或增加區(qū)域數(shù)目提高精度。

圖9 湖面區(qū)域劃分示意

圖10顯示的是當(dāng)巡邏艇在湖面由西南向東北方向行進(jìn)時(shí)，系統(tǒng)根據(jù)GPS信息進(jìn)行湖面拼接得到的效果(部分截圖，非完整圖像)。而對細(xì)節(jié)要求較高的部分，采用特征匹配進(jìn)行高精度拼接，效果如圖11所示。

圖10 基于GPS的湖面拼接部分截圖

圖11 基于特征匹配的高精度拼接效果圖

5 結(jié)語

筆者構(gòu)建了基于游弋圖像的鳥瞰圖成像系統(tǒng)總體結(jié)構(gòu)，采用偏振器件消除反光，以攝像機(jī)自標(biāo)定進(jìn)行圖像轉(zhuǎn)換，利用自適應(yīng)插值完成空洞填補(bǔ)，基于SIFT和RANSAC技術(shù)實(shí)現(xiàn)圖像拼接，最終獲取到水面大范圍鳥瞰圖。系統(tǒng)在現(xiàn)場運(yùn)行中實(shí)現(xiàn)了鳥瞰圖成像，驗(yàn)證了算法的有效性、魯棒性及自身的穩(wěn)定性。但是SIFT算法在圖像特征不豐富時(shí)效果不理想，今后需對其進(jìn)行不斷研究和改進(jìn)。

［1］ 彭文祥，王海銀，姜慶五.基于多時(shí)相衛(wèi)星數(shù)據(jù)的太湖藍(lán)藻暴發(fā)的動(dòng)態(tài)變化監(jiān)測［J］.復(fù)旦學(xué)報(bào)，2008，35(1):63-66.

［2］ TANIZAKI T.A detection of wet condition on road using a background image renewal processing ［J］.Trans.Inst.Electron.Inform.Commun.Eng.，1997，80(9):2270-2277.

［3］ 李勃，董蓉，陳啟美.路況PTZ攝像機(jī)自動(dòng)標(biāo)定方法［J］.北京郵電大學(xué)學(xué)報(bào)，2009，32(21):24-29.

［4］ 鄭新，吳恩華.生成當(dāng)前視點(diǎn)目標(biāo)圖像的快速逆映射算法［J］.軟件學(xué)報(bào)，2001，12(11):1667-1674.

［5］ 張淮聲，張佑生，方賢勇.基于圖像warping的空洞填補(bǔ)方法［J］.計(jì)算機(jī)科學(xué)，2002，29(5):112-114.

［6］ 劉立，彭復(fù)員，趙坤，等.采用簡化SIFT算法實(shí)現(xiàn)快速圖像匹配［J］.紅外與激光工程，2008，37(1):181-184.

［7］ LI G，WANG K.Merging infrared and color visible images with a contrast enhanced fusion method［J］.Proc.SPIE，2007，65(7):108.

［8］ 曲天偉，安波，陳桂蘭.改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用，2010，30(7):1849-1851.

［9］ 方賢勇，潘志庚，徐丹.圖像拼接的改進(jìn)算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15(11).

An Imaging System Based on Mobile-Camera for Top View of Water Surface Monitoring

GU Hao1，XU Liang2，YU Jian-qiao2，CHEN Qi-mei1
(1.School of Electronic Science and Engineering，Nanjing University，Nanjing，Jiangsu 210093，China;2.Jiangsu Provincial Environmental Monitoring Center，Nanjing，Jiangsu 210036，China)

As various types of water pollution is worsening，the traditional way of monitoring isinsufficient because of dispersing and of limited range，a mobile-camera based imaging system for top view of water surface is built to achieve wide-ranging and continuous monitoring in real time.Reflective light of the water surface is eliminated by polarization devices，results in clear water images;new methods for camera calibration is designed so that parameters can be calculated on-line;strategy is proposed to fill the adaptive empty and eliminated the image empty after warpping to another view;with GPS information and registration technology，we get atop view image from the camera video sequences.This system can provide high resolution image with wide range and real time monitoring，besides，the cost is quite low.

polarization;monitoring;calibration;image warping;image fusion;image mosaic

TP75

A

1674-6732(2011)-05-0031-04

10.3969/j.issn.1674-6732.2011.05.009

2010-12-29;

2011-03-18

國家水體污染控制與治理科技重大專項(xiàng)項(xiàng)目(2009ZX07528-005-02)，江蘇省環(huán)保廳科研項(xiàng)目(2009017)，江蘇省環(huán)境監(jiān)測中心項(xiàng)目(0917)。

顧昊(1988—)，男，碩士研究生，從事圖像處理及其應(yīng)用的研究。

(本欄目編輯 黃 珊)