王海濤，洪 亮，譚成國

(1. 中國地質(zhì)大學(xué)(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074； 2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074； 3. 武大吉奧信息技術(shù)有限公司，湖北 武漢 430074)

一種用于相機(jī)檢校的黑白棋盤格角點(diǎn)提取算法

王海濤1，2，洪 亮1，2，譚成國3

(1. 中國地質(zhì)大學(xué)(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074； 2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074； 3. 武大吉奧信息技術(shù)有限公司，湖北 武漢 430074)

黑白棋盤格作為一種人造平面控制條件，是一種重要的相機(jī)標(biāo)定的參考條件。本文基于其角點(diǎn)的對稱性、尺度不變性和領(lǐng)域特性，提出了一種有效的角點(diǎn)提取算法；同時(shí)針對格網(wǎng)邊緣的特性，提出了雙邊緣的匹配算法，以提取高精度的角點(diǎn)；使用不同型號的相機(jī)、不同棋盤格制設(shè)備進(jìn)行試驗(yàn)表明，本文提出的算法是一種具有很強(qiáng)魯棒性的黑白棋盤格角點(diǎn)提取算法，可以高精度地定位角點(diǎn)。

黑白棋盤格；光束法平差；邊緣匹配；直接線性變換；液晶顯示器

將平面控制條件(平面格網(wǎng)板[1]、聚脂薄膜格網(wǎng)[2]、打印紙張格網(wǎng)[3]、LCD繪制圓[4]等)作為相機(jī)檢校參考對象已被廣泛應(yīng)用，黑白棋盤格[5-8]更是被廣泛使用。計(jì)算機(jī)視覺庫OpenCV(open source computer vision library)[9]實(shí)現(xiàn)了黑白棋盤格角點(diǎn)的自動提取和文獻(xiàn)[1](張正友，2000)標(biāo)定的算法[1]，但其速度和提取效果有待改善，本文使用黑白棋盤格的自身特性提出一種可靠的高精度網(wǎng)格點(diǎn)提取算法。

棋盤格使用內(nèi)角點(diǎn)(稱為X角點(diǎn))作為平面控制點(diǎn)，多采用Harris[7，10]、SUSAN[5，11]等算子提取，經(jīng)處理后獲得有效格網(wǎng)角點(diǎn)[12]。黑白棋盤格角點(diǎn)作為人造的特征，有其自身的特性，本文稱為對稱性和尺度不變特性[13]；另外提取的X角點(diǎn)與其鄰域點(diǎn)有重要幾何特性，本文稱為鄰域特性，利用該特性可對X角點(diǎn)進(jìn)行錯(cuò)誤檢測。

采用光束法平差對相機(jī)檢校，檢校精度與X角點(diǎn)的提取精度相關(guān)。棋盤格網(wǎng)作為人造特征，格網(wǎng)黑白變換處形成階躍邊緣，邊緣匹配可以高精定位邊緣[17-18]，使用提取的邊緣直線相交計(jì)算子X角點(diǎn)子像素坐標(biāo)。本文將針對黑白棋盤格網(wǎng)進(jìn)行詳細(xì)分析，提出采用自適應(yīng)邊緣模板的邊緣匹配方法，以提高X角點(diǎn)的定位精度。

一、黑白棋盤格網(wǎng)繪制及特點(diǎn)分析

黑白棋盤格(如圖1—圖2所示)使用兩類角點(diǎn)(X角點(diǎn))(圖1、圖2的點(diǎn)Ⅰ、Ⅱ)用于相機(jī)檢校。

圖1 繪制棋盤格

圖2 投影后的棋盤格

1. X角點(diǎn)的相關(guān)性

截取圖2中X角點(diǎn)的局部圖并反向(見表1)。從表1可知，每類X角點(diǎn)原始局部影像與另一類點(diǎn)的反向圖像相似。使用相關(guān)系數(shù)[19]可對X角點(diǎn)進(jìn)行評估，同類X角點(diǎn)局部影像相關(guān)系數(shù)約等于1，不同類X角點(diǎn)局部影像相關(guān)系數(shù)約等于-1。

表1 X角點(diǎn)的局部圖及反向圖

2. X角點(diǎn)的對稱特性

(1) 對稱模式選擇

改革開放至今，中國經(jīng)濟(jì)發(fā)展取得了較大成就，外向型經(jīng)濟(jì)發(fā)展的特征也愈加明顯，特別是中國“入世”以后，中國對外貿(mào)易經(jīng)濟(jì)環(huán)境得到改善，憑借自身比較優(yōu)勢，對外貿(mào)易規(guī)模不斷擴(kuò)大，逐漸成為美國的第二大貿(mào)易伙伴。據(jù)中國海關(guān)總署公布2017年全年進(jìn)出口統(tǒng)計(jì)數(shù)據(jù)顯示，中國對美國貿(mào)易順差2758億美元，超過了2015年的2610億美元的最高紀(jì)錄，貿(mào)易順差擴(kuò)大13%，達(dá)到了中美貿(mào)易順差的新高。中美貨物貿(mào)易赤字不斷擴(kuò)大，美國部分經(jīng)濟(jì)學(xué)認(rèn)為中美貿(mào)易發(fā)展導(dǎo)致美國制造業(yè)就業(yè)崗位縮減，并導(dǎo)致藍(lán)領(lǐng)失業(yè)人口上升30%。 隨著中國對美國貿(mào)易順差，中美貿(mào)易摩擦持續(xù)升級，美國貿(mào)易保護(hù)主義抬頭勢頭明顯。

本文選擇原點(diǎn)對稱、X軸對稱、Y軸對稱、y=x軸對稱、y=-x軸對稱。圖3為Ⅰ類X角點(diǎn)關(guān)于以上對稱軸的示意圖(Ⅱ類X角點(diǎn)同理)，點(diǎn)A對稱點(diǎn)依次為B、C、D、E、F。

圖3 X角點(diǎn)對稱特性

(2) X角點(diǎn)對稱特性及與像素值關(guān)系

表2 X角點(diǎn)對稱特性像素值關(guān)系

(3) 圖像對稱變換及特性分析

使用圖3的對稱方式將X角點(diǎn)圖像進(jìn)行變換，變換后的圖像表達(dá)式及特性見表3。圖4(a)為黑白棋盤格網(wǎng)原始影像，圖4(b)—(f)為表4變換方式表達(dá)的新影像。

圖4 對稱特性變換影像表達(dá)

(4) 對稱特性影像變換及相似性

按照圖3對稱方式對X角點(diǎn)局部圖像進(jìn)行變換，以Ⅰ類X角點(diǎn)為例(Ⅱ類X角點(diǎn)同理)。為便于突出變換效果，給Ⅰ類X角點(diǎn)不同部分用字母A、B、C、D標(biāo)識，變換后點(diǎn)結(jié)果見表4，可知原始影像關(guān)于原點(diǎn)對稱，y=x軸與y=-x軸變換影像相似，x軸與y軸變換影像相似，對此相似性可用相關(guān)系數(shù)[19]進(jìn)行評定。

3. X角點(diǎn)尺度特性

David Lowe在局部特征描述子提出尺度空間[13]的概念，本文使用影像金字塔的方式表達(dá)尺度。由表5可知，對于Ⅰ類X角點(diǎn)來說(Ⅱ類X角點(diǎn)同理)，在不同金字塔影像級別依然相似。不同尺度影像間的相關(guān)系數(shù)[19]應(yīng)約等于1。

二、X角點(diǎn)子像素提取

1. 格網(wǎng)點(diǎn)邊緣特征

將拍攝的黑白棋盤格影像灰度值作為高度值進(jìn)行配色顯示局部放大，效果如圖5(a)所示。將圖5(a)橢圓圈住部分顯示剖面(如圖5(b)所示)，圖5(b)箭頭標(biāo)識部分對應(yīng)圖5(a)白色雙線對應(yīng)部分。另外，將圖5(a)白色雙線對應(yīng)部分對應(yīng)的邊緣進(jìn)行三維剖面顯示，效果如圖5(c)所示。

表3 影像變換及特性

表4 Ⅰ類X角點(diǎn)影像對稱變換效果圖

表5 X角點(diǎn)不同級別金字塔局部影像

圖5 棋盤格剖面

分析圖5可知，黑白棋盤格網(wǎng)黑白過渡地方的邊緣為直線A和B的中間部分。下面分析X角點(diǎn)與格網(wǎng)邊緣的關(guān)系，從圖6可知，X角點(diǎn)的邊緣需使用雙線邊緣表述。

圖6 棋盤格雙邊緣

2. 邊緣匹配

使用理論邊緣模板進(jìn)行邊緣匹配[17，20]是一種有效點(diǎn)直線邊緣定位方法。圖7是文獻(xiàn)[17—18]使用的一種邊緣描述模板。

圖7 邊緣理論模板

從圖5(b)剖面圖可知，圖7邊緣理論模板不能充分表達(dá)棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征。圖8是y=-tan-1x點(diǎn)曲線圖，可以看出曲線與棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征相似。本文選擇該函數(shù)描述棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征，則邊緣灰度值與理論模板曲線的關(guān)系可表達(dá)為

(1)

圖8 函數(shù)曲線

圖9 邊緣匹配及提取角點(diǎn)(放大4倍)

三、試驗(yàn)分析

筆者采用攝影測量的自檢校光束法進(jìn)行平差[2，4]，相機(jī)的畸變模型采用文獻(xiàn)[4]、文獻(xiàn)[17]中的畸變模型參數(shù)。對未知數(shù)初值的解算有多種方法(如二維DLT、SVD分解等)，本文采用張永軍[2]的二維DLT算法。對于LCD本身的誤差[4]，采用附有限制條件的間接平差[4，20]模型進(jìn)行平差計(jì)算。為克服自檢校平差中的過度參數(shù)化[16]，采用小二乘平差的嶺估計(jì)解法[21]。

本文使用不同型號的數(shù)碼相機(jī)(見表8)、不同黑白棋盤格網(wǎng)的繪制設(shè)備(見表9)來驗(yàn)證算法。繪制黑白棋盤格X角點(diǎn)的數(shù)量為391個(gè)(23×17)。本文拍攝方式采用文獻(xiàn)[4]的方法，拍攝效果如圖10所示。

1. X角點(diǎn)提取試驗(yàn)

使用表8中型號的數(shù)碼相機(jī)和表9中的繪制設(shè)備，拍攝12組影像，共1076張，驗(yàn)證X角點(diǎn)的提取算法。圖11是一副拍攝影像的提取效果圖，所有試驗(yàn)結(jié)果見表10。

表8 試驗(yàn)用數(shù)碼相機(jī)

表9 格網(wǎng)繪制設(shè)備

圖10 拍攝方式

圖11 提取的X角點(diǎn)

2. 平差試驗(yàn)

對不同型號的相機(jī)、不同型號的黑白棋盤格網(wǎng)繪制設(shè)備開展平差試驗(yàn)。采用兩種方式見表11—表15：①同一型號相機(jī)、不同型號黑白棋盤格網(wǎng)繪制設(shè)備；②同型號黑白棋盤格網(wǎng)不同型號相機(jī)、繪制設(shè)備?？紤]到不同相機(jī)像元尺寸的不同，本文將精度統(tǒng)一到像素單位。

1) 同一型號相機(jī)，不同型號黑白棋盤格網(wǎng)繪制設(shè)備，見表11、表12。

表11 相機(jī)5D Mark Ⅲ(24 mm)

表12 相機(jī)ILCE-7R

2) 同型號黑白棋盤格網(wǎng)繪制設(shè)備，不同型號相機(jī)，見表13—表15。

表13 繪制設(shè)備KDL-52V5500

表14 繪制設(shè)備LG 27EA33

表15 繪制設(shè)備飛利浦 HNA7170T

四、結(jié)束語

通過不同型號數(shù)碼相機(jī)、不同型號的繪制設(shè)備來繪制黑白棋盤格網(wǎng)的大量試驗(yàn)表明，基于X角點(diǎn)自身特性(對稱性、尺度不變性、領(lǐng)域特性)的角點(diǎn)提取算法具有很強(qiáng)的魯棒性，是一種有效的X角點(diǎn)提取算法。光束法平差驗(yàn)證表明，雙邊緣的邊緣匹配算法可以提取高精度X角點(diǎn)，本文提出的邊緣匹配算法是一種有效的邊緣定位算法。

[1] ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2000,22(11): 1330-1334.

[2] 張永軍. 利用二維DLT 及光束法平差進(jìn)行數(shù)字?jǐn)z像機(jī)標(biāo)定[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2002,27(6): 576-571.

[3] NOMA T, OTANI H, ITO T, et al. New System of Digital Camera Calibration,DC-1000[C]∥ISPRS Commission 5 Symposium. Corfu, Greece：[s.n.]，2002.

[4] 詹總謙.基于純平液晶顯示器的相機(jī)標(biāo)定方法與應(yīng)用研究[D]. 武漢：武漢大學(xué),2006.

[5] 徐樹奎,李國輝,張軍,等. 基于多方向?qū)ΨQ和勻質(zhì)約束的SUSAN棋盤格角點(diǎn)檢測算法[J].計(jì)算機(jī)科學(xué),2011,38(9):248-253.

[6] 劉洋，王福利，常玉清,等. 黑白棋盤格角點(diǎn)檢測算法[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,28(8):1090-1093.

[7] 王忠石，徐心和. 棋盤格模板圖像角點(diǎn)的識別[C]∥2005年中國控制與決策學(xué)術(shù)年會(17CDC)論文集. 哈爾濱：[s.n.]，2005.

[8] 吳海濱,周英蔚,周雨潤,等. 基于Hessian矩陣的黑白棋盤格角點(diǎn)檢測[J]. 大氣與環(huán)境光學(xué)學(xué)報(bào), 2013, 8(5): 395-400.

[9] OpenCV. Intel OpenCV Computer Vision Library[EB/OL]. [2016-05-31]. http:∥www.intel.com/research/mrl/research/opencv.

[10] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings Alvey Conference. Manchester, UK:[s.n.]，1988.

[11] SMITH S M,BRADY J M.SUSAN——A New Approach to Low Level Image Processing[J].International Journal of Computer Vision,1997,23(1): 45-78.

[12] 王忠石,徐心和. 棋盤格模板角點(diǎn)的自動定位[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2006,27(9):949-952.

[13] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision(S0920-5691),2004,60(2):91-110.

[14] TSAI. A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. IEEE J. Robotics and Automation,1987,3(4): 323-344.

[15] 馮文灝.近景攝影測量[M].武漢：武漢大學(xué)出版社,2002.

[16] 李德仁，袁修孝.誤差處理與可靠性理論[M].武漢：武漢大學(xué)出版社，2002.

[17] HU X,ZHANG Z, ZHANG J. An Approach of Semiautomated Road Extraction from Aerial Image Based on Template Matching and Neural Network[J].International Archives of Photogrammetry and Remote Sensing, 2000, ⅩⅩⅩⅢ(B3/2): 994-999.

[18] 吳軍.三維城市建模的建筑墻面紋理快速重建研究[D].武漢：武漢大學(xué)，2003.

[19] 張祖勛，張劍清. 數(shù)字?jǐn)z影測量學(xué)[M].2版.武漢：武漢大學(xué)出版社，2012.

[20] 高士純. 附有限制條件的間接分組平差模型與公式[J]. 武漢測繪科技大學(xué)學(xué)報(bào),1996,21(1):36-40.

[21] 王樂洋，許才軍，魯鐵定. 病態(tài)加權(quán)總體最小二乘平差的嶺估計(jì)解法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2010, 35(11): 1346-1350.

[22] GRUEN A W. Adaptive Least Square Correlation: A Powerful Image Matching Technique[J]. South African Journal of Photogrammetry and Remote Sensing,1985, (14)3:175-187.

[23] 林宗堅(jiān),崔紅霞,孫杰,等. 數(shù)碼相機(jī)的畸變差檢測研究[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2005,30(2):122-125.

[24] 張祖勛.數(shù)字?jǐn)z影測量與計(jì)算機(jī)視覺[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2004,29(12):1035-1039.

An Effective Algorithm of the Black and White Checkerboard Corner Detection for the Camera Calibration

WANG Haitao，HONG Liang，TAN Chengguo

2016-06-21

國家863計(jì)劃(2013AA122104)；測繪地理信息公益性行業(yè)科研專項(xiàng)(201512012)

王海濤(1976—)，男，博士生，高級工程師，研究方向?yàn)閿z影測量與計(jì)算機(jī)視覺。E-mail：306550757@qq.com

王海濤，洪亮，譚成國.一種用于相機(jī)檢校的黑白棋盤格角點(diǎn)提取算法[J].測繪通報(bào)，2016(12)：33-38.

10.13474/j.cnki.11-2246.2016.0396.

P237

B

0494-0911(2016)12-0033-06