張 浩，凌朝東*，陳 虎，黃 信,楊 驍，湯 煒，閆 錚

(1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門 361021；2.廈門市專用集成電路系統(tǒng)重點實驗室，福建 廈門 361008)

?

一種基于FPGA的視頻幾何校正系統(tǒng)設(shè)計方案

張 浩1,2，凌朝東1,2*，陳 虎1,2，黃 信1,2,楊 驍1,2，湯 煒1，閆 錚1

(1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門 361021；
2.廈門市專用集成電路系統(tǒng)重點實驗室，福建 廈門 361008)

為了滿足大視場相關(guān)應(yīng)用、尤其是大屏幕投影拼接技術(shù)應(yīng)用領(lǐng)域?qū)σ曨l圖像實時幾何校正的要求，本文對視頻圖像的實時幾何校正及其FPGA實現(xiàn)方法進(jìn)行研究。首先，根據(jù)圖像幾何校正理論基礎(chǔ)，利用Matlab等工具進(jìn)行算法模擬仿真，確定了視頻圖像實時幾何校正系統(tǒng)的基本框架。然后，根據(jù)現(xiàn)有的硬件平臺DE2的硬件資源情況，細(xì)致規(guī)劃系統(tǒng)結(jié)構(gòu)，并對其中的核心部分幾何校正模塊進(jìn)行仿真。最后，通過實際校正測試，斷定實驗結(jié)果達(dá)到視頻圖像實時幾何校正的預(yù)期效果。實驗結(jié)果表明：幾何校正后，投影儀投射出的圖像符合仿真結(jié)果，系統(tǒng)延時小于10個時鐘周期，遠(yuǎn)小于毫秒級，且延時恒定，校正誤差不超過1個像素。此方案達(dá)到了預(yù)期視頻圖像實時幾何校正的效果，具有相當(dāng)?shù)慕梃b、參考意義。

大視場；投影拼接技術(shù)；幾何校正；FPGA

1 引 言 在大視場相關(guān)實際應(yīng)用中，常常需要對視頻圖像進(jìn)行幾何校正，尤其是在當(dāng)下熱門的大屏幕投影拼接技術(shù)應(yīng)用領(lǐng)域，視頻圖像的幾何校正更是視頻處理的首要任務(wù)。當(dāng)多個投影儀投射出的圖像進(jìn)行拼接時，由于每臺投影儀的幾何參數(shù)、配置、安裝位置，甚至品牌均可能不同，導(dǎo)致每臺投影儀投射出的影像的幾何形狀、大小、位置也都有可能不同，從而造成了投射出的圖像不能完美的拼接，因此需要對每臺投影儀投射出的圖像進(jìn)行幾何校正處理[1]。傳統(tǒng)的解決方案是圖形工作站配加多顯卡方式，利用性能強勁的圖形工作站，編寫上位機軟件控制顯卡，不斷調(diào)整每臺顯卡輸出圖像的幾何參數(shù)，以達(dá)到幾何校正的目的[2]。但這種視頻幾何校正方案的效率受限于PC的串行架構(gòu)，難以達(dá)到高速實時的視頻處理效果，而且由于一臺PC能掛接的顯卡數(shù)量有限，難以隨意地擴展。本文提出了基于FPGA的視頻幾何校正的新思路，采用配有AlteraCycloneIIEP2C35F672C6FPGA的DE2開發(fā)板為實驗平臺，實現(xiàn)了視頻圖像的實時幾何校正，并達(dá)到了預(yù)期效果。2 視頻圖像幾何校正的基本原理通常，對于平面到平面的圖像幾何變換，可用一個3×3的矩陣來描述其變換關(guān)系模型[3]， wx＇wy＇wé?êêêêù?úúúú=m0m1m2m3m4m5m6m7m8é?êêêêù?úúúúxy1é?êêêêù?úúúú，(1)其中：(x，y)為原像素坐標(biāo)，(x’，y’)為映射后的坐標(biāo)。令： H=m0m1m2m3m4m5m6m7m8é?êêêêù?úúúú，(2)H即為映射關(guān)系矩陣。H中的m2可以對圖像的x方向進(jìn)行校正，m5可以對y方向進(jìn)行校正，m0、m1、m3、m4是表示校正的尺度和旋轉(zhuǎn)量，m6、m7表示水平與垂直方向的變形量[4]，若m6、m7為0，則表示此幾何變換為平移、旋轉(zhuǎn)、縮放等規(guī)則變換；若m6、m7為非0，則可表示最一般形式的任意變換[5]。m8通常為1。我們可以通過投影棋盤格或網(wǎng)格等方法，獲取實際投影圖像與我們想要達(dá)到的投影圖像，并取出這兩幅圖像的相同的特征點的坐標(biāo)，并利用最小二乘法或Levenberg?Marquardt算法[6]等，求出映射關(guān)系矩陣H的最優(yōu)解，但此問題非本文討論的重點。假定已獲得實際投影圖像與想要達(dá)到的投影效果之間的映射關(guān)系H，本文重點在于利用FPGA實現(xiàn)對應(yīng)的視頻幾何校正處理。3 系統(tǒng)結(jié)構(gòu)設(shè)計視頻圖像的幾何校正，本質(zhì)上就是對視頻幀的各個像素坐標(biāo)值的幾何變換。因此，幾何校正的實現(xiàn)過程，可以簡述為：從原視頻緩存幀中，依次將像素顏色值取出，并對其坐標(biāo)進(jìn)行幾何變換計算，求出幾何校正后的新坐標(biāo)，然后將像素顏色值存到新的坐標(biāo)地址中去，即生成了幾何校正后的緩存幀。最后，VGA顯示模塊對幾何校正后的視頻緩存幀進(jìn)行掃描顯示即可。根據(jù)DE2開發(fā)板的實際可用資源，結(jié)合視頻圖像幾何校正的基本理論，設(shè)計系統(tǒng)結(jié)構(gòu)框圖如圖1所示。圖1 視頻幾何校正系統(tǒng)的整體框圖Fig．1 BlockdiagramofvideogeometriccalibrationsystemDigitalCamera模塊采集圖像，并轉(zhuǎn)化為RGB或灰度格式(本實驗中，由于DE2板載SRAM大小為512KB，僅夠緩存一幀8位顏色值的640×480圖像，因此采用8位灰度格式。本文討論的是視頻圖像的幾何變換，因此顏色格式的選擇對本文的討論內(nèi)容無任何影響)，這是系統(tǒng)的圖像

圖3 矩陣運算器模塊原理圖
Fig.3 Schematic diagram of matrix operation module

4.3 矩陣運算器模塊的波形仿真

我們設(shè)定要將視頻圖像在x方向縮小2倍，并向右平移100個像素；在y方向也縮小2倍，并向下平移200個像素；視頻圖像形狀不變。易知，映射矩陣應(yīng)為：

按照表1的輸入?yún)?shù)格式，將H變化為：

將此參數(shù)輸入仿真文件，得到仿真結(jié)果如圖4所示。由圖4以及設(shè)定的仿真條件可知，圖4中坐標(biāo)(500,400)對應(yīng)的輸出坐標(biāo)為(350,400)，(600,10)對應(yīng)的輸出坐標(biāo)為(400,205)，其他依次類推，均符合預(yù)期的校正結(jié)果。由圖4還可知，矩陣運算模塊造成的時鐘延時約為7個時鐘周期。由于本設(shè)計系統(tǒng)中，所有模塊的同步時鐘均采用VGA的像素時鐘，即攝像頭將圖像幀數(shù)據(jù)存入SDRAM1時，幾何校正模塊也在同時工作，將SDRAM1的數(shù)據(jù)取出進(jìn)行幾何校正，且校正速度與VGA掃描速度一致，因此整個系統(tǒng)的視頻幾何校正部分的延時就是這7個時鐘周期。已知分辨率640×480的視頻的像素時鐘頻率約為25 MHz[9]，則7個時鐘周期的延時時間小于1 μs，遠(yuǎn)小于毫秒級。而對常見的60幀/s的視頻，每幀時間約為1/60 s，可見本系統(tǒng)的視頻幾何校正部分的延時遠(yuǎn)小于視頻每幀的顯示時間，因此不會對人的視覺觀感產(chǎn)生任何影響。

圖4 矩陣運算器模塊波形仿真圖Fig.4 Waveform of matrix operation module simulation

5 實驗結(jié)果與分析

5.1 視頻幾何校正結(jié)果分析

實驗分兩步進(jìn)行。第一步為：首先，投影儀正對幕布，投射出完美的特征影像并拍照記錄，作為幾何校正目標(biāo)投影影像。然后，將投影儀擺放任意角度，投射出不完美的不規(guī)則形狀的特征影像，保持投影儀位置固定并拍照，獲得目前實際投影影像。最后，利用Matlab等工具獲取實際影像到目標(biāo)影像的映射關(guān)系矩陣H。第二步為：將第一步獲得的映射關(guān)系矩陣H輸入到FPGA中，F(xiàn)PGA將依據(jù)H對攝像頭采集的視頻進(jìn)行幾何校正，并經(jīng)由第一步中固定位置的投影儀投射到幕布上，對比目標(biāo)影像，觀察是否達(dá)到預(yù)期效果。實驗器材見表2，具體過程如下。

表2 實驗器材列表Tab.2 List of the experimental equipment

圖5 目標(biāo)投影效果與未幾何校正投影效果對比圖Fig.5 Comparison of target projection result and non geometric calibration projection result

目標(biāo)投影效果與未經(jīng)幾何校正的實際投影效果對比如圖5所示。

利用Matlab將目標(biāo)投影效果圖與實際投影效果圖的特征點坐標(biāo)進(jìn)行提取，考慮相機失真因素，并用最小二乘法計算得到實際投影效果與目標(biāo)投影效果的映射關(guān)系矩陣為[10]：

按照表1將H轉(zhuǎn)化為

然后將H導(dǎo)入FPGA中，得到幾何校正結(jié)果如圖6所示。

圖6(a)是用液晶顯示器顯示的原始視頻圖像。將其直接用投影儀投射在屏幕上的顯示效果如圖6(c)。將6(a)進(jìn)行映射關(guān)系矩陣為H的幾何校正之后，得到視頻圖像圖6(b)，圖6(b)看似發(fā)生了不規(guī)則的變形，但將其通過投影儀投射到屏幕上時，實際投影效果如圖6(d)，將圖6(d)與目標(biāo)投影效果圖5(a)對比發(fā)現(xiàn)，投射出的影像的幾何失真得到校正，可判定實驗達(dá)到了預(yù)期的視頻幾何校正效果，從而肯定了本方案的正確性與可行性。理論上，根據(jù)Hx的不同，本設(shè)計可以對視頻圖像做任何形狀的幾何校正。

而針對多投影系統(tǒng)的視頻圖像幾何校正，實現(xiàn)方法與本實驗相同：只需先設(shè)定一個多投影拼接后的目標(biāo)效果圖，然后將此圖中每臺投影儀各自分工的部分，與對應(yīng)投影儀的實際投影效果進(jìn)行比對分

圖6 幾何校正結(jié)果對比圖Fig.6 Comparison of geometric calibration results

析，獲得映射關(guān)系矩陣Hx(每臺投影儀對應(yīng)的映射關(guān)系矩陣可能是不同的)。再根據(jù)Hx對每臺投影儀的視頻輸入源做不同參數(shù)的幾何校正即可。

5.2 幾何校正精度分析

對于本文所述的視頻圖像幾何校正方案，誤差來源主要有兩點：一是Hx的參數(shù)誤差，主要包括相機魚眼效應(yīng)引起的誤差、Hx參數(shù)求解時迭代計算次數(shù)有限所引起的誤差、解出的參數(shù)由于四舍五入引起的誤差等，這部分誤差是由儀器設(shè)備、上位機算法等共同造成，非本文討論重點。二是本設(shè)計方案的系統(tǒng)誤差，在本設(shè)計中，由于iX、iY、oX、oY均為小于103的整數(shù)，而Hx均保留到小數(shù)點后4位，根據(jù)式(5)、式(6)可知坐標(biāo)變換過程中FPGA進(jìn)行相關(guān)矩陣運算的誤差最大不超過1個像素點，不會對顯示效果產(chǎn)生任何影響。若資源足夠，增加Hx的小數(shù)保留位數(shù)，則幾何校正的精度將更高。

5.3 資源使用情況分析

實際資源占用情況如圖7所示。

圖7 FPGA的資源占用情況Fig.7 Use of FPGA resources

由圖7可知，對于DE2開發(fā)平臺板載的EP2C-35F672C6 FPGA，經(jīng)Quartus II綜合后本方案幾何校正部分各項硬件資源占用率均不超過30%，可見本方案具有資源占用率少、效率高的優(yōu)勢，因此適合工程應(yīng)用。

6 結(jié) 論

本文依據(jù)大視場應(yīng)用、尤其是大屏幕投影拼接技術(shù)領(lǐng)域?qū)σ曨l圖像幾何校正快速、穩(wěn)定、適宜推廣的需求，設(shè)計了一套基于FPGA的視頻圖像幾何校正方案。本文首先介紹了視頻圖像幾何校正的基本理論。然后據(jù)此設(shè)計了幾何校正的系統(tǒng)結(jié)構(gòu)。之后根據(jù)DE2開發(fā)平臺的實際資源，詳細(xì)設(shè)計了幾何校正模塊的具體結(jié)構(gòu)并進(jìn)行了仿真。最后，通過觀察實際的投影校正效果，驗證了本方案的可行性。實驗結(jié)果證明：本方案系統(tǒng)延時小于10個時鐘周期，遠(yuǎn)遠(yuǎn)不到毫秒級，且延時恒定不變，幾何校正誤差最大不超過1個像素，對人的視覺觀感不會有任何影響。而且本方案資源占用率低，適合大范圍應(yīng)用。雖然由于DE2平臺資源所限，未能進(jìn)行更高分辨率的視頻幾何校正測試，但本方案的設(shè)計思想仍然具有相當(dāng)?shù)慕梃b、參考意義。

[1] 王勝正， 楊杰. 自動多投影儀非線性幾何校正與圖像邊緣融合方法[J]. 上海交通大學(xué)學(xué)報, 2008, 42(4): 574-578. Wang S Z, Yang J. Auto-nonlinear geometry calibration and edge blending of multi-projector display system [J].JournalofShanghaiJiaotongUniversity, 2008, 42(4): 574-578. (in Chinese)

[2] 李斌. 低成本多投影儀拼接方法研究[D]. 濟南：山東大學(xué)，2005. Li B. Study on Low-cost multi-projector mosaic [D]. Jinan: Shandong University, 2005. (in Chinese)

[3] 張德豐. MATLAB數(shù)字圖像處理[M]. 北京：機械工業(yè)出版社，2009. Zhang D F.DigitalImageProcessingwithMATLAB[M]. Beijing: China Machine Press, 2009. (in Chinese)

[4] 張錚，王艷平，薛桂香. 數(shù)字圖像處理與機器視覺[M]. 北京：人民郵電出版社，2010. Zhang Z, Wang Y P, Xue G X.DigitalImageProcessingandMachineVision[M]. Beijing: Ports & Telecom Press, 2010. (in Chinese)

[5] 陶婷婷，張亞萍. 多投影顯示系統(tǒng)的幾何校正及邊緣融合技術(shù)研究與實現(xiàn)[J]. 云南師范大學(xué)學(xué)報，2014，34(1): 54-60. Tao T T, Zhang Y P. Research andrealization of geometric calibration and edge blending for multi-projector display system [J].JournalofYunnanNormalUniversity, 2014, 34(1): 54-60. (in Chinese)

[6] 劉淑. 多通道大屏幕圖像無縫拼接技術(shù)研究[D]. 北京：北京交通大學(xué)，2011. Liu S. Theresearch on multi-projectors large format mosaic [D]. Beijing: Beijing Jiaotong University, 2011. (in Chinese)

[7] Integrated Silicon Solution, Inc. IS61LV25616_Datasheet.pdf [OL]. www.issi.com, 2001.

[8] 葉茂. 多屏投影顯示系統(tǒng)的自動校正技術(shù)[D]. 成都：四川大學(xué)，計算機應(yīng)用，2006. YE M. Automaticcalibration techniques for multi-projector display systems [D]. Chengdu: Sichuan University, 2006. (in Chinese)

[9] Video Electronics Standards Association. VESA and industry standards and guidelines for computer display monitor timing (DMT) [EB]. 2004.

[10] 蔡山，張浩，陳洪輝，等. 基于最小二乘法的分段三次曲線擬合方法研究[J]. 科學(xué)技術(shù)與工程，2007, 7(3): 352-355. Cai S, Zhang H, Chen H H,etal. Research of piecewise cubic-fitting method based on least-square principle [J].ScienceTechnologyandEngineering, 2007, 7(3): 352-355. (in Chinese)

Design of video geometric calibration system based on FPGA

ZHANG Hao1,2, LING Chao-dong1,2*, CHEN Hu1,2, HUANG Xin1,2, YANG Xiao1,2, TANG Wei1, YAN Zheng1

(1.InstituteofInformationScienceandEngineering,HuaQiaoUniversity,Xiamen361021,China;2.KeyLaboratoryofASICandSystemofXiamen,Xiamen361008,China)

In order to realize the real-time video image geometric calibration in large field of view image applications, especially in large format projection mosaic technique field, this paper analyzes the video image geometric calibration and its realization based on FPGA. First, according to the basic theory of image geometric calibration, this paper describes the simulation of algorithms with Matlab and other tools, and designs the basic frame of the video image geometric calibration system. Then, the system structure is detailed designed based on the hardware resources of DE2 platform and the geometric calibration module is simulated. Finally, based on the actual calibration test, this paper concludes that the experimental results achieve the desired target of real-time video image geometric calibration. Experimental results show that the image which has been calibrated and projected by projector is consistent with the simulation results. The delay of system is less than 10 clock cycles, far less than millisecond level, and the value of delay time is a constant. The inaccuracy of the calibration system is no more than one pixel. This design achieves the desired target of real-time video geometric calibration, which has considerable significance for reference.

large field of view; projection mosaic technique; geometric calibration; FPGA

張 飆(1969-)，男，四川人，碩士，主要從事LED顯示技術(shù)、激光雷達(dá)技術(shù)的研究。E-mail：75990383@qq.com 周國清(1965-)，男，江西人，博士，教授，博士生導(dǎo)師，主要從事遙感技術(shù)的研究。E-mail：glitezhou@yahoo.com

2014-10-14；

2014-11-06.

國家自然科學(xué)基金(No.61203369，No.61204122); 福建省自然科學(xué)基金(No.2011J01351); 福建省科技計劃重點項目(No.2013H0029) ；泉州市科技計劃項目(No.2013Z33)

1007-2780(2015)03-0459-08

TN911.73

A

10.3788/YJYXS20153003.0459

*通信聯(lián)系人，E-mail：edac@hqu.edu.cn