申俊星,褚立柱

(商丘職業(yè)技術(shù)學(xué)院,河南 商丘 476100)

隨著機(jī)器視覺(jué)的發(fā)展,視頻圖像處理技術(shù)已經(jīng)被廣泛應(yīng)用在智能手機(jī)、汽車(chē)電子、工業(yè)物聯(lián)網(wǎng)等領(lǐng)域.為了全面評(píng)價(jià)圖像處理算法的效果,在圖像處理算法開(kāi)發(fā)過(guò)程中,對(duì)算法的動(dòng)態(tài)實(shí)時(shí)驗(yàn)證必不可少[1].ARM處理器對(duì)于實(shí)現(xiàn)復(fù)雜的圖像處理算法有著優(yōu)異的表現(xiàn),而FPGA憑借流水線(xiàn)計(jì)算結(jié)構(gòu)和重構(gòu)性,可以較好實(shí)現(xiàn)圖像實(shí)時(shí)處理和算法更新[2].MPSOC同時(shí)具備ARM和FPGA在圖像處理中的優(yōu)點(diǎn),可以滿(mǎn)足圖像處理算法的動(dòng)態(tài)驗(yàn)證需求.同時(shí),高層次綜合(High Level Synthesis, HLS)技術(shù)可以將高級(jí)語(yǔ)言轉(zhuǎn)換成底層硬件描述語(yǔ)言,高效完成圖像處理算法的硬件實(shí)現(xiàn)過(guò)程,以進(jìn)行硬件加速,減少開(kāi)發(fā)成本和時(shí)間,加速設(shè)計(jì)生產(chǎn)力[3].

本文設(shè)計(jì)了一種基于MPSOC和HLS的圖像處理算法驗(yàn)證系統(tǒng),通過(guò)HLS技術(shù)高效完成圖像處理算法的硬件實(shí)現(xiàn),以進(jìn)行硬件加速,同時(shí)與圖像傳感器采集的圖像數(shù)據(jù)進(jìn)行比對(duì),完成對(duì)圖像處理算法的動(dòng)態(tài)驗(yàn)證,同時(shí)基于LVDS設(shè)計(jì)了板間圖像傳輸接口,通過(guò)FPGA級(jí)聯(lián)為后續(xù)實(shí)現(xiàn)大型復(fù)雜圖像處理算法的驗(yàn)證提供了充足的擴(kuò)展空間.

1 系統(tǒng)架構(gòu)

圖像處理算法驗(yàn)證系統(tǒng)設(shè)計(jì)方案,如圖1所示.其中,MPSOC包括PL部分中的圖像采集模塊、硬件算法HLS IP 和VDMA模塊,以及PS部分的DDR和軟件算法模塊.

圖1 圖像處理算法驗(yàn)證系統(tǒng)架構(gòu)

圖像采集模塊用于采集圖像傳感器的圖像數(shù)據(jù),并按照AXI-Stream協(xié)議將圖像數(shù)據(jù)流傳輸給硬件算法HLS IP.硬件算法HLS IP利用HLS技術(shù)實(shí)現(xiàn)圖像處理算法,包括HDR(High-Dynamic Range)、TM(Tone Mapping)、GAMMA、DN(denoise)等子模塊.HDR算法通過(guò)多幀不同亮度圖像融合,使圖像擁有更高的動(dòng)態(tài)范圍和更多的圖像細(xì)節(jié).TM模塊為色調(diào)映射,用于壓縮位寬和動(dòng)態(tài)范圍.GAMMA模塊功能是對(duì)圖像做非線(xiàn)性變換,主要用于協(xié)調(diào)自然亮度和主觀灰階感受的.DN模塊的主要作用是圖像降噪.為了滿(mǎn)足不同應(yīng)用的需求,可根據(jù)系統(tǒng)功能靈活調(diào)整不同子模塊進(jìn)行互相串聯(lián),實(shí)現(xiàn)硬件算法HLS IP整體功能的改變,同時(shí)通過(guò)AXI-Lite協(xié)議建立該模塊與PS端的連接,PS端可根據(jù)軟件算法或用戶(hù)需要發(fā)送指令,控制和調(diào)整各硬件算法子模塊的參數(shù).VDMA模塊在PS的控制下完成圖像數(shù)據(jù)流在PL和PS中DDR的交互,同時(shí)通過(guò)VDMA模塊內(nèi)部的GenLock鎖幀機(jī)制實(shí)現(xiàn)圖像處理和圖像顯示兩側(cè)的幀率匹配,且保證顯示圖像不撕裂和不分層.最后,DDR中的圖像數(shù)據(jù)直接從PS端送至DP顯示設(shè)備上顯示.

PS中的軟件算法一般用來(lái)實(shí)現(xiàn)較為靈活、易于調(diào)整、需要調(diào)試的算法,如AE算法中的場(chǎng)景識(shí)別、曝光策略、AWB算法中的色溫估計(jì)和增益計(jì)算等,也可以根據(jù)硬件資源和用戶(hù)需求靈活調(diào)整,為了滿(mǎn)足實(shí)時(shí)性要求,PS中的軟件算法不宜過(guò)于復(fù)雜,只需通過(guò)參數(shù)策略實(shí)現(xiàn)對(duì)其他硬件算法IP的參數(shù)計(jì)算和調(diào)整,不對(duì)圖像數(shù)據(jù)流進(jìn)行處理.

當(dāng)驗(yàn)證大型復(fù)雜圖像處理算法IP時(shí),單板MPSOC的資源可能無(wú)法滿(mǎn)足需求.因此,為了實(shí)現(xiàn)圖像數(shù)據(jù)流板間傳輸,設(shè)計(jì)了板間互聯(lián)LVDS接口,該接口具有很好的可拓展性.級(jí)聯(lián)的FPGA包括硬件算法HLSIP2及其控制模塊,硬件算法HLS IP2可根據(jù)系統(tǒng)功能和應(yīng)用需求靈活調(diào)整.控制模塊用于接收MPSOC中PS 的指令,進(jìn)而將參數(shù)傳遞給硬件算法HLS IP2.

1.1 HLS實(shí)現(xiàn)硬件算法加速

開(kāi)源計(jì)算機(jī)視覺(jué)(OpenCV)被廣泛應(yīng)用于開(kāi)發(fā)計(jì)算機(jī)視覺(jué)應(yīng)用,使用XILINX公司的HLS高級(jí)語(yǔ)言綜合工具,可以快速實(shí)現(xiàn)從OpenCV圖像處理設(shè)計(jì)到RTL代碼的轉(zhuǎn)換,并直接在FPGA上實(shí)現(xiàn)實(shí)時(shí)圖像處理.HLS將OpenCV函數(shù)庫(kù)轉(zhuǎn)化成可綜合的HLS視頻庫(kù),該視頻庫(kù)與OpenCV具有類(lèi)似的接口和算法,比如與Mat相對(duì)應(yīng)的xf::cv::Mat數(shù)據(jù)類(lèi)型,被用于模型化視頻像素流處理.HLS視頻庫(kù)主要針對(duì)FPGA架構(gòu),實(shí)現(xiàn)了專(zhuān)門(mén)面向FPGA的優(yōu)化,比如定點(diǎn)運(yùn)算、行緩存(line buffer)和窗口緩存(window buffer)等[4].

HLS對(duì)圖像處理算法硬件實(shí)現(xiàn)的過(guò)程,如圖2所示,實(shí)時(shí)圖像輸入采用AXI4-stream協(xié)議.HLS在實(shí)現(xiàn)圖像算法時(shí),首先將圖像數(shù)據(jù)轉(zhuǎn)換成Mat數(shù)據(jù)類(lèi)型,然后通過(guò)HLS視頻庫(kù)或者用戶(hù)自開(kāi)發(fā)功能函數(shù)實(shí)現(xiàn)圖像處理功能,最后再轉(zhuǎn)換成AXI4-stream協(xié)議接口.圖像算法實(shí)現(xiàn)完成后,通過(guò)HLS工具進(jìn)行仿真和綜合,最終生成RTL IP.

圖2 HLS實(shí)現(xiàn)圖像算法框圖

1.2 板間互聯(lián)LVDS接口

為了驗(yàn)證大型圖像處理算法IP,設(shè)計(jì)了板間互聯(lián)LVDS接口,從而實(shí)現(xiàn)圖像數(shù)據(jù)流板間傳輸,避免了資源的限制.LVDS板間互聯(lián)接口單向傳輸過(guò)程,如圖3所示.圖像數(shù)據(jù)流先通過(guò)AXI4-Stream to Video Out IP轉(zhuǎn)換成video DVP接口,然后采用Xilinx官方High Speed SelectIO IP實(shí)現(xiàn)并串轉(zhuǎn)換LVDS傳輸,包括發(fā)送端TX和接收端RX,此IP在native mode下使用BITSLICE邏輯組件,內(nèi)部增加了很多專(zhuān)用路由,可以支持單通道最高1600 Mbps的數(shù)據(jù)傳輸.對(duì)于RGB24bit數(shù)據(jù),串化因子4,采用7對(duì)LVDS接口即可完成LVDS板間傳輸,可以支持4K30fps的圖像.

圖3 LVDS板間傳輸接口結(jié)構(gòu)

2 系統(tǒng)測(cè)試和結(jié)果分析

本文用包含Arm Cortex?-A53 64-bit 四核處理器和Cortex-R5雙核實(shí)時(shí)處理器的Zynq UltraScale+ XCZU9EG MPSoC開(kāi)發(fā)板作為測(cè)試平臺(tái),以三星的S5K4AC作為圖像傳感器,該圖像傳感器為大小雙Pixel陣列,支持有效分辨率1280×960三幀輸出,支持4lane MIPI輸出.在此基礎(chǔ)上,分別對(duì)算法效果、算法硬件加速效果和LVDS板間互聯(lián)接口進(jìn)行測(cè)試.

2.1 HLS算法效果測(cè)試

本文中圖像處理以HDR算法為例,驗(yàn)證該算法IP的效果.HDR(High-Dynamic Range)算法通過(guò)多幀不同亮度圖像融合,使圖像擁有更高的動(dòng)態(tài)范圍和更多的圖像細(xì)節(jié).本次測(cè)試分別用HLS工具實(shí)現(xiàn)HDR算法和用軟件實(shí)現(xiàn)HDR算法2種方法,測(cè)試算法效果,如圖4所示,測(cè)試表明,HLS工具實(shí)現(xiàn)的HDR算法與軟件實(shí)現(xiàn)的HDR算法處理效果相同,圖像處理算法的HLS硬件實(shí)現(xiàn)方法可以完全復(fù)現(xiàn)軟件算法的效果.該驗(yàn)證系統(tǒng)對(duì)圖像處理算法有良好的驗(yàn)證效果.

(a)HLS實(shí)現(xiàn)HDR算法 (b)軟件實(shí)現(xiàn)HDR算法

2.2 算法硬件加速測(cè)試

為了測(cè)試IP驗(yàn)證系統(tǒng)的硬件加速效果,分別在驗(yàn)證系統(tǒng)中用HLS工具實(shí)現(xiàn)HDR模塊、TM模塊、GAMMA模塊、DN模塊等不同子模塊和用軟件獨(dú)立實(shí)現(xiàn)上述模塊,測(cè)試其各自完成一幀圖像處理過(guò)程所消耗的時(shí)間并進(jìn)行對(duì)比,測(cè)試結(jié)果,如表1所示.驗(yàn)證系統(tǒng)的輸入圖像幀率為30 幀/秒,在驗(yàn)證系統(tǒng)中用HLS實(shí)現(xiàn)算法每幀處理時(shí)間均在33 ms以?xún)?nèi),與原始幀率相同,具有很好的實(shí)時(shí)性,而軟件獨(dú)立實(shí)現(xiàn)算法每幀耗時(shí)較長(zhǎng),且隨著算法復(fù)雜度增加,算法處理耗時(shí)也迅速增加.通過(guò)對(duì)比發(fā)現(xiàn),HLS算法硬件加速效果明顯.

表1 圖像處理算法每幀耗時(shí)測(cè)試

2.3 LVDS板間互聯(lián)接口測(cè)試

為了測(cè)試LVDS板間互聯(lián)接口速率,利用圖像傳感器輸出1280x960@30fps圖像數(shù)據(jù),在驗(yàn)證系統(tǒng)中增加scaler模塊,用于對(duì)圖像進(jìn)行縮放.Scaler模塊使用Xilinx官方IP Video Processor Subsystem中的scaler功能實(shí)現(xiàn),將輸入圖像畫(huà)幅放大為4K@30fps.采用14對(duì)差分LVDS接口完成雙向RGB24bit圖像數(shù)據(jù)傳輸,根據(jù)幀率計(jì)算得到LVDS單通道速率配置為1200 M即可滿(mǎn)足要求.采用VU440開(kāi)發(fā)板作為級(jí)聯(lián)FPGA,分別測(cè)試不級(jí)聯(lián)FPGA和級(jí)聯(lián)FPGA時(shí)的圖像顯示效果,測(cè)試結(jié)果,如圖5所示.測(cè)試結(jié)果表明,LVDS板間互聯(lián)接口傳輸4K@30fps圖像,其圖像顯示效果正常,與未級(jí)聯(lián)FPGA時(shí)效果相同,同時(shí)快速移動(dòng)畫(huà)面時(shí)圖像并無(wú)撕裂或卡頓,可以證明LVDS板間互聯(lián)接口可以支持4K@30fps圖像傳輸.

3 結(jié)語(yǔ)

本文設(shè)計(jì)了一種針對(duì)各種圖像算法IP的驗(yàn)證系統(tǒng),通過(guò)HLS技術(shù)高效完成圖像處理算法的硬件加速,并實(shí)時(shí)動(dòng)態(tài)完成圖像處理算法的驗(yàn)證.同時(shí),設(shè)計(jì)了基于LVDS的板間圖像傳輸接口,為后續(xù)實(shí)現(xiàn)大型復(fù)雜圖像處理算法的驗(yàn)證提供了充足的擴(kuò)展空間.測(cè)試結(jié)果表明,該系統(tǒng)對(duì)圖像處理算法加速效果明顯,具有很好的實(shí)時(shí)性,可以較好支持圖像處理算法的動(dòng)態(tài)實(shí)時(shí)驗(yàn)證;同時(shí)驗(yàn)證了LVDS板間傳輸接口可以支持4K30fps圖像的傳輸,滿(mǎn)足后續(xù)驗(yàn)證系統(tǒng)擴(kuò)展的帶寬要求.