許 璐，陳文藝，楊 輝

(西安郵電大學(xué) a. 電子工程學(xué)院；b.物聯(lián)網(wǎng)與兩化融合研究院，陜西 西安 710061)

基于網(wǎng)格圖像自動(dòng)檢測的鏡頭畸變校正

許 璐a，陳文藝b，楊 輝a

(西安郵電大學(xué) a. 電子工程學(xué)院；b.物聯(lián)網(wǎng)與兩化融合研究院，陜西 西安 710061)

針對廣角鏡頭所采集圖像存在的畸變問題，提出了一種基于模板匹配和質(zhì)心檢測的高精度控制點(diǎn)檢測法，并采用基于除法模型和正交相干相位檢測的兩步校正算法對畸變網(wǎng)格圖像進(jìn)行了高精度校正。實(shí)驗(yàn)結(jié)果表明，該鏡頭畸變校正算法能克服光照等不定因素，對畸變的網(wǎng)格圖像交叉控制點(diǎn)進(jìn)行高精度自動(dòng)提取，并自動(dòng)計(jì)算畸變圖像中每一點(diǎn)的校正參數(shù)，實(shí)現(xiàn)了鏡頭畸變的高精度、全自動(dòng)校正。

圖像處理；畸變校正；大視場；控制點(diǎn)提取

在成像測量、機(jī)器視覺等領(lǐng)域中，為了獲取大視野的圖像，經(jīng)常采用廣角鏡頭進(jìn)行拍攝。由于通過廣角鏡頭獲取的圖像存在嚴(yán)重的幾何畸變，需要對其進(jìn)行高精度的校正。且在畸變校正工作中，控制點(diǎn)的選取也將影響到畸變校正的精度。目前已有的校正算法[1-2]對廣角鏡頭畸變的校正效果較差、精度低。并且其控制點(diǎn)坐標(biāo)大多采用人工選取，工作量大且不準(zhǔn)確；而最為常用的控制點(diǎn)自動(dòng)提取算法是模板匹配法，即先對畸變網(wǎng)格圖像進(jìn)行形態(tài)學(xué)圖像處理后，在利用若干個(gè)模板與細(xì)化圖像進(jìn)行匹配，從而識(shí)別出網(wǎng)格交叉點(diǎn)[3-4]。但針對本文所用的廣角鏡頭，該自動(dòng)提取方法的提取精度不高，且在控制點(diǎn)的排序上較為復(fù)雜，不便于之后的校正工作。

本文通過對廣角鏡頭和大畸變圖像的分析，將模板匹配與質(zhì)心檢測相結(jié)合，提出一種精確的控制點(diǎn)自動(dòng)生成算法。該方法對控制點(diǎn)進(jìn)行兩步提?。旱谝徊?，用若干模板與處理后的細(xì)化圖像進(jìn)行匹配，初步定位出控制點(diǎn)；第二步，在處理后的灰度圖像中利用初步定位的控制點(diǎn)進(jìn)行區(qū)域質(zhì)心檢測，精確定位出畸變網(wǎng)格圖像中的交叉點(diǎn)，即為控制點(diǎn)。最后，本文結(jié)合基于除法模型的校正方法[5]和正交相干相位檢測法[6]，對廣角畸變圖像進(jìn)行高精度兩步校正。實(shí)驗(yàn)結(jié)果表明：該控制點(diǎn)自動(dòng)生成算法以及兩步校正算法校正的精度高， 適用于成像測量過程中的廣角鏡頭畸變圖像的高精度校正。

1 畸變圖像控制點(diǎn)的自動(dòng)提取

廣角鏡頭畸變校正時(shí)需用到若干控制點(diǎn)坐標(biāo)，本文主要提出一種控制點(diǎn)自動(dòng)生成算法，該算法分為4部分，首先對采集到的畸變網(wǎng)格圖像其進(jìn)行形態(tài)學(xué)處理，得到細(xì)化圖像。然后用模板匹配法對細(xì)化圖像中的交叉控制點(diǎn)進(jìn)行初步提取。再對初步提取的控制點(diǎn)坐標(biāo)進(jìn)行排序。最后利用初步提取出的控制點(diǎn)坐標(biāo)在灰度圖中進(jìn)行逐片區(qū)域的質(zhì)心檢測，從而得到精確的交叉控制點(diǎn)坐標(biāo)。

1.1 畸變網(wǎng)格圖像的形態(tài)學(xué)處理

本文選取了黑白線條寬度比例為1:3的網(wǎng)格標(biāo)定板與視場角為110°的廣角車載攝像頭進(jìn)行圖像采集，獲取的畸變圖像如圖1所示。為獲取畸變網(wǎng)格圖中的交叉控制點(diǎn)，首先需要對畸變網(wǎng)格圖像進(jìn)行二值化、細(xì)化處理，得到如圖2所示的細(xì)化網(wǎng)格圖像。

圖1 畸變網(wǎng)格圖像

圖2 細(xì)化網(wǎng)格圖像

1.2 基于模板匹配的控制點(diǎn)初步提取

本文首先采用模板匹配法對細(xì)化網(wǎng)格圖像的交叉控制點(diǎn)進(jìn)行初步提取。針對細(xì)化圖像中網(wǎng)格交叉點(diǎn)出現(xiàn)的多種不規(guī)則情況，共設(shè)計(jì)出3類6個(gè)模板，如圖3所示。其中0、1表示灰度值。

圖3 設(shè)計(jì)的6個(gè)模板

第一類模板1，用于識(shí)別規(guī)則的交叉控制點(diǎn)。

第二類模板2和3，用于識(shí)別畸變較大的四周斜線交叉點(diǎn)，當(dāng)R為1時(shí)用于識(shí)別交叉點(diǎn)連續(xù)的情況；當(dāng)R為0時(shí)識(shí)別交叉控制點(diǎn)為斷點(diǎn)的情況。

第三類模板4～6，用于識(shí)別畸變較小時(shí)的交叉控制點(diǎn)，當(dāng)R為1時(shí)用于識(shí)別交叉點(diǎn)連續(xù)的情況；當(dāng)R為0時(shí)識(shí)別交叉控制點(diǎn)為斷點(diǎn)的情況。其中R1與R2不能同時(shí)為1。

將細(xì)化圖像與以上6個(gè)模板進(jìn)行相關(guān)系數(shù)運(yùn)算，定位出最為匹配的區(qū)域與該區(qū)域中響應(yīng)最大的點(diǎn)即為初步定位的交叉控制點(diǎn)。

1.3 控制點(diǎn)排序

由于初步提取的交叉控制點(diǎn)是按行列坐標(biāo)值的大小進(jìn)行散亂排序，因此在進(jìn)行下一步精準(zhǔn)提取和畸變校正之前需先對初步提取的交叉控制點(diǎn)進(jìn)行排序。本文針對細(xì)化圖像提出一種使交叉控制點(diǎn)沿畸變網(wǎng)格圖像中的水平曲線進(jìn)行排序的算法，步驟如下：

1)在細(xì)化圖像上標(biāo)注初步提取的交叉控制點(diǎn)。由于細(xì)化圖像中各個(gè)像素點(diǎn)的灰度值為1或0，增加細(xì)化網(wǎng)格圖像中初步提取的交叉控制點(diǎn)的灰度值，使其大于1。

2)檢測細(xì)化圖像中的水平細(xì)化曲線。從中間像素列由上向下逐行檢測，當(dāng)檢測到灰度為1的點(diǎn)時(shí)記錄，則表示檢測到一條水平細(xì)化曲線，假設(shè)有N條水平細(xì)化曲線。

3)檢測每條水平細(xì)化曲線上的控制點(diǎn)。對于第i(i=1，2，…，N)條水平細(xì)化曲線，分別沿該曲線向左右檢測，由于細(xì)化后圖像中的曲線為連續(xù)的，因此可沿著水平細(xì)化曲線即灰度為1的點(diǎn)檢測到整條水平細(xì)化曲線上的灰度值大于1的交叉控制點(diǎn)并記錄其行列坐標(biāo)。

1.4 基于質(zhì)心檢測的控制點(diǎn)精準(zhǔn)提取

由于廣角鏡頭采集的原始畸變圖像中會(huì)因光照等不定因素的影響，使得初步提取的控制點(diǎn)精確度較低，穩(wěn)定性差，因此，本文在經(jīng)過模板匹配法進(jìn)行初步提取后再返回灰度圖像中通過質(zhì)心檢測[7]進(jìn)行進(jìn)一步的精準(zhǔn)提取，使交叉控制點(diǎn)的提取具有一定的魯棒性。方法如下：

以初步提取的交叉控制點(diǎn)坐標(biāo)為中心，在灰度圖像中截取15×15的窗口進(jìn)行質(zhì)心檢測，對一幅連續(xù)圖像f(x,y)(灰度值≥0)， 質(zhì)心坐標(biāo)公式為

(1)

式中：N為窗口的大小即15，(ic,jc)為質(zhì)心坐標(biāo)。由式(1)即可逐個(gè)求得以初步提取的交叉控制點(diǎn)為中心的15×15窗口的質(zhì)心坐標(biāo)，即為精確提取的交叉控制點(diǎn)坐標(biāo)。

2 畸變校正

得到精確提取出的畸變網(wǎng)格圖像交叉控制點(diǎn)坐標(biāo)后，即可進(jìn)行下一步高精度的畸變校正工作。本文采用基于除法模型和正交相干相位檢測法對畸變圖像進(jìn)行高精度校正，方法如下：

首先采用除法模型進(jìn)行初步校正，如式(1)所示

(2)

對于標(biāo)準(zhǔn)網(wǎng)格模板中的控制點(diǎn)，在理想透視投影模型下，所成像為一條直線，而在單參數(shù)除法模型下所成的像都是圓弧[5]，如式(2)所示

(3)

將除法模型代入可得

(4)

根據(jù)最小二乘圓弧擬合，代入畸變網(wǎng)格圖像中若干交叉控制點(diǎn)坐標(biāo)即可估算出圓弧參數(shù)A,B,C以及畸變中心(x0,y0)，從而計(jì)算出除法模型參數(shù)λ與坐標(biāo)映射關(guān)系，完成初步校正。

由于廣角鏡頭存在的畸變較大，初步校正后還會(huì)殘留畸變。為了提高校正的精度，再對初步校正后的網(wǎng)格圖像進(jìn)行精確校正。首先從初步校正結(jié)果中提取出殘留畸變網(wǎng)格圖像中的橫豎條紋，再采用正交相干解調(diào)法[6]計(jì)算出橫豎條紋的殘留畸變相位分布。

以豎條紋的條紋方向?yàn)閥方向，與其垂直方向?yàn)閤方向，則豎條紋的光強(qiáng)分布可表示為

(5)

式中：An(x,y)為傅里葉級數(shù)振幅；ωx為畸變縱條紋的基頻；φx(x,y)為豎條紋的相位分布。

用sin(ωxx)和cos(ωxx)分別乘以豎條紋圖像中的任意一行Ix(x,yc)，并通過低通濾波后可得

(6)

從而得到豎條紋的殘留畸變相位分布為

(7)

對橫條紋進(jìn)行同樣處理，可得其殘留畸變相位分布

(8)

再根據(jù)其殘留畸變相位分布便可得x和y坐標(biāo)殘留畸變量Δh(x,y)，Δv(x,y)

(9)

根據(jù)兩步校正得到的校正參數(shù)，再結(jié)合差值算法對灰度級進(jìn)行重建，從而實(shí)現(xiàn)廣角鏡頭的高精度畸變校正。

3 實(shí)驗(yàn)結(jié)果及分析

本文用視場角為110°的廣角攝像頭采集一幅黑白占空比為1:3的網(wǎng)格圖像，并用MATLAB進(jìn)行算法仿真，精確提取出11×15條網(wǎng)格曲線的交叉控制點(diǎn)坐標(biāo)，并標(biāo)記于二值圖像中，如圖4所示。

圖4 精確提取的交叉控制點(diǎn)

精準(zhǔn)提取出的交叉控制點(diǎn)與初步提取的控制點(diǎn)相比，穩(wěn)定性較好，不受光照等外界因素影響，準(zhǔn)確度高。同時(shí)采集到多幅不同光照、不同標(biāo)定板的畸變網(wǎng)格圖像進(jìn)行交叉控制點(diǎn)提取，如圖5所示，圖5a為不同光照畸變網(wǎng)格圖像，圖5b為不同占空比畸變網(wǎng)格圖像。實(shí)驗(yàn)結(jié)果表明，該算法能夠自動(dòng)提取到廣角鏡頭采集的畸變網(wǎng)格圖像的控制點(diǎn)，并不受光照等外界因素影響，穩(wěn)定性強(qiáng)，準(zhǔn)確度高，適用范圍廣。

圖5 交叉控制點(diǎn)提取實(shí)例

在精確提取出交叉控制點(diǎn)之后用兩步校正算法對一般圖像進(jìn)行校正，如圖6所示。校正結(jié)果表明：本算法能夠?qū)Υ嬖趪?yán)重畸變的圖像進(jìn)行高精度的校正，且校正過程實(shí)現(xiàn)了全自動(dòng)化。

圖6 校正實(shí)例

4 結(jié)論

本文主要提出了一種準(zhǔn)確提取交叉控制點(diǎn)的算法，該算法先用模板匹配法對畸變網(wǎng)格圖像進(jìn)行交叉控制點(diǎn)的初步提取，后用質(zhì)心檢測算法進(jìn)行交叉控制點(diǎn)的精準(zhǔn)提取，通過模板匹配對交叉控制點(diǎn)初步定位，再返回原始灰度圖像中進(jìn)行質(zhì)心檢測，克服光照等不定因素，提取出準(zhǔn)確的交叉控制點(diǎn)，提高了控制點(diǎn)提取的準(zhǔn)確性、自動(dòng)性與適用性。然后根據(jù)提取出的交叉控制點(diǎn)用基于除法模型和正交相干相位檢測法對畸變網(wǎng)格圖像進(jìn)行了兩步高精度校正。實(shí)驗(yàn)結(jié)果表明，該畸變校正算法能夠?qū)V角鏡頭畸變圖像進(jìn)行高精確校正，實(shí)現(xiàn)了廣角鏡頭畸變校正的全自動(dòng)化。

[1] SMITH W E，VAKIL N，MAISLIN S A. Correction of distortion in endoscope images[J].IEEE Trans. Med. Imag.，1992(1)：117-122.

[2] HIDEAKI H，YUTAKA Y，YOICHI M. A new method for distortion correction of electronic endoscope images[J].IEEE Trans.Med. Imag.，1995(3)：548-555.

[3] 廖士中，董明，高培煥.工業(yè)攝像機(jī)幾何畸變校正控制點(diǎn)的自動(dòng)生成[J].計(jì)算機(jī)應(yīng)用研究，2001(10)： 30-32.

[4] 朱德榮，樊紅潮，張震.工件視覺定位圖像畸變校正控制點(diǎn)的自動(dòng)生成[J].組合機(jī)床與自動(dòng)化加工技術(shù)， 2011(7)：61-62.

[5] 朱云芳.攝像機(jī)徑向畸變校正和內(nèi)參估計(jì)的單圖標(biāo)定方法[J].光電工程，2012，39(9)：126-131.

[6] 陳文藝，楊輝.基于正交相干相位檢測的圖像畸變校正[J].西安郵電大學(xué)學(xué)報(bào)，2013，18(3)：101-103.

[7] 王冰，職秦川，張仲選，等.灰度圖像質(zhì)心快速算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004，16(10)：1361-1365.

許 璐(1989— )，研究生，主研數(shù)字視頻圖像處理；

陳文藝(1964— )，教授，主要從事通信集成電路設(shè)計(jì)、視頻圖像實(shí)時(shí)處理及傳輸?shù)难芯浚?/p>

楊 輝(1988— )，助理工程師，主研數(shù)字集成電路設(shè)計(jì)、數(shù)字視頻圖像處理。

責(zé)任編輯：時(shí) 雯

Lens Distortion Correction Based on Grid Image Automatic Detection

XU Lua，CHEN Wenyib，YANG Huia

(a.DepartmentofElectronicEngineering；b.InternetofThingsandIntegrationofITApplicationandIndustrializationInstitute，Xi’anUniversityofPostsandTelecommunications，Xi’an710061,China)

In order to correct a distorted image collected by the wide-angle lens， a method of precision control point detection based on pattern match and centroid detection is proposed， and using two-step correction based on least-squares fitting and orthogonal coherent phase detection to calibrate the distortion grid image with high precision. Experimental results show that the proposed method overcome the light and other uncertainties， be valid for high-precision automatic extraction of crossover distortion control point grid image， and automatic calculate correction parameters of each point in the distorted image， realize the high precision and fully automated of the lens distortion correction.

image processing；distortion correction；large field of view；control points extraction

陜西省科技廳工業(yè)攻關(guān)項(xiàng)目(Z013K06-14)

TN942.2

A

10.16280/j.videoe.2015.17.004

2015-01-09

【本文獻(xiàn)信息】許璐，陳文藝，楊輝.基于網(wǎng)格圖像自動(dòng)檢測的鏡頭畸變校正[J].電視技術(shù),2015，39(17).