蘇恒　關(guān)燁鋒　和河向

關(guān)鍵詞：ZYNQ 芯片；實(shí)時(shí)視頻；邊緣檢測(cè)；現(xiàn)場(chǎng)可編程邏輯門(mén)陣列

中圖分類(lèi)號(hào)：TP23；TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A

0 引言

人類(lèi)視覺(jué)基礎(chǔ)是圖像信息，隨著嵌入式及集成電路技術(shù)的飛速發(fā)展，視覺(jué)圖像處理在日常生活與科研領(lǐng)域均得到廣泛應(yīng)用，圖像處理技術(shù)的快速發(fā)展已使其成為圖像信息傳遞的重要手段[1] 且在相關(guān)領(lǐng)域取得顯著成果[2-3]。邊緣是一幀圖像中信息最為豐富的區(qū)域，如何對(duì)采集到的視頻圖像進(jìn)行準(zhǔn)確、高效的邊緣提取成為圖像處理領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題。相較于利用軟件實(shí)現(xiàn)邊緣檢測(cè)算法，硬件電路有著處理速度快、實(shí)時(shí)性高等優(yōu)點(diǎn)。本研究的實(shí)驗(yàn)平臺(tái)以可擴(kuò)展處理平臺(tái)ZYNQ 作為主要的開(kāi)發(fā)環(huán)境[4]，該平臺(tái)結(jié)合了現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（fieldprogrammable gate array，F(xiàn)PGA）和一個(gè)雙核ARMCortex-A9 處理器[5-6]。通過(guò)軟硬件協(xié)同設(shè)計(jì)，成功構(gòu)建了一個(gè)嵌入式圖像處理系統(tǒng)[7]。與傳統(tǒng)圖像檢測(cè)系統(tǒng)相比，基于ZYNQ 的圖像處理系統(tǒng)在邊緣閾值設(shè)置合理時(shí)，能顯著提升邊緣檢測(cè)質(zhì)量，具備良好的實(shí)時(shí)性和可擴(kuò)展性，為后續(xù)復(fù)雜圖像處理算法的擴(kuò)展和移植提供了有利條件。

1 系統(tǒng)整體架構(gòu)

ZYNQ-7000 系列是由Xilinx 公司于2010 年4月推出的采用28 nm 制造工藝的嵌入式處理平臺(tái)，也就是一片帶有可編程片上系統(tǒng)的芯片。其包括可編程邏輯（programmable logic，PL）部分和處理系統(tǒng)（processing system，PS）部分。其中，PL 部分是傳統(tǒng)的FPGA，而PS 部分則包含了ARM 處理器，該設(shè)計(jì)使得ZYNQ 芯片兼具FPGA 的靈活性和ARM 處理器的通用計(jì)算能力。如圖1 所示，上方為FPGA 可編程邏輯部分，下方為ARM 處理系統(tǒng)部分，上下部分通過(guò)AXI 接口來(lái)進(jìn)行大數(shù)據(jù)量的交互。PL 端包括圖像OV5640 采集、邊緣檢測(cè)和AXI 視頻直接內(nèi)存訪問(wèn)（video direct memoryaccess，VDMA）IP 核等模塊。PS 端包括高性能（high performance，HP）接口、通用目的（generalpurpose，GP）接口、OV5640 配置等模塊。根據(jù)PL 端獲取外界視頻流信息所做的處理，PS 端通過(guò)GP 接口對(duì)各IP 核進(jìn)行任務(wù)調(diào)度，兩者功能的不同可在圖1 中具體劃分為數(shù)據(jù)流和控制流。

（1）數(shù)據(jù)流：首先使用PS 端的串行攝像機(jī)控制總線協(xié)議（serial camera control bus，SCCB）接口對(duì)OV5640 攝像頭進(jìn)行配置，利用PS 端擴(kuò)展的多路輸入/ 輸出（extended multi-channel input/output，EMIO）來(lái)模擬SCCB 協(xié)議[8]，從而驅(qū)動(dòng)500 W 的OV5640 攝像頭采集外界視頻圖像信息。攝像頭圖像采集IP 核負(fù)責(zé)將攝像頭采集到的外界圖像數(shù)據(jù)轉(zhuǎn)換成視頻流數(shù)據(jù)。然后經(jīng)過(guò)灰度處理和邊緣檢測(cè)算法IP 核處理，使用AXI4-Stream IP 核將處理后的視頻流數(shù)據(jù)處理轉(zhuǎn)換成AXI4-Stream 格式的數(shù)據(jù)流。之后VDMA 的寫(xiě)數(shù)據(jù)通道將這些數(shù)據(jù)轉(zhuǎn)換成Memory Map 格式，并將其寫(xiě)入PS 端搭載的DDR3存儲(chǔ)器中緩存數(shù)據(jù)。為了實(shí)現(xiàn)與DDR3 存儲(chǔ)器進(jìn)行大數(shù)據(jù)量的交互，AXI -SmartConnect 連接VDMA和HP 接口。VDMA 在DDR3 中讀出之前緩存過(guò)的視頻圖像信息，并將其按行傳輸至AXI4-Stream toVideo Out IP 核。在視頻時(shí)序控制器（video timingcontroller，VTC） 的控制下，AXI4-Stream to VideoOut IP 核將所有AXI4-Stream 數(shù)據(jù)轉(zhuǎn)換為視頻傳輸?shù)臉?biāo)準(zhǔn)數(shù)據(jù)流格式，并將已處理過(guò)的視頻數(shù)據(jù)流連接至高清多媒體接口（high definition multimediainterface，HDMI）驅(qū)動(dòng)IP 核的輸入端口。最后，采集并經(jīng)過(guò)處理的圖像會(huì)實(shí)時(shí)顯示在HDMI 屏上。

（2）控制流：ZNYQ 的PS 端通過(guò)GP 接口的AXI-Interconnect 連接IP 核對(duì)VTC 模塊進(jìn)行系統(tǒng)配置，使得VTC 根據(jù)灰度處理配置信息，將AXI4-Stream 格式的數(shù)據(jù)轉(zhuǎn)換成符合HDMI 顯示屏輸出的標(biāo)準(zhǔn)數(shù)據(jù)流格式。PS 端根據(jù)HDMI 顯示屏的不同型號(hào)，通過(guò)識(shí)別顯示屏編碼（identity document，ID）控制動(dòng)態(tài)時(shí)鐘IP 核，靈活配置時(shí)鐘的IP。這樣的設(shè)計(jì)允許系統(tǒng)輸出與HDMI 顯示屏兼容的時(shí)鐘頻率，從而達(dá)到匹配不同分辨率HDMI 顯示屏的目的。

2 軟件算法設(shè)計(jì)

2.1 RGB 轉(zhuǎn)YUV

采用500 W 的攝像頭OV5640 采集RGB565 格式的視頻數(shù)據(jù)流，但由于RGB 格式圖片像素?cái)?shù)據(jù)的復(fù)雜性和龐大性對(duì)后續(xù)高層次操作的圖像處理構(gòu)成了挑戰(zhàn)[9]。為了解決這個(gè)難題，對(duì)RGB 彩色圖像進(jìn)行預(yù)處理，即去除多余的色彩信息，僅保留圖像的亮度等級(jí)分布特征。在圖像編碼領(lǐng)域，YUV（YCbCr）是一種更為適合處理的圖像格式，可將色度和亮度進(jìn)行分離[10]。為了降低圖像數(shù)據(jù)所需的存儲(chǔ)容量、減少后續(xù)算法處理時(shí)間，首先需要進(jìn)行RGB 到Y(jié)UV 圖像格式的轉(zhuǎn)換。

在當(dāng)前的RGB 轉(zhuǎn)YUV 算法中，采用加權(quán)平均法的圖像灰度化效果最為優(yōu)越[11]，能夠有效保留圖像的亮度特征。通過(guò)對(duì)彩色圖像的每個(gè)像素點(diǎn)的3個(gè)分量進(jìn)行加權(quán)平均，其中不同的權(quán)值考慮了人眼對(duì)不同顏色的敏感度[12]，得到心理學(xué)灰度值的計(jì)算公式如下：

Y=0.299×R+0.587×G+0.114×B。 （ 1）

Cb=-0.169×R-0.331×G+0.5×B+128。 （ 2）

Cr=0.5×R-0.419×G-0.081×B+128。 （ 3）

其中，Y、Cb、Cr 分別為YCbCr 圖像格式的3 個(gè)不同顏色分量，R、G、B 分別為24 位RGB 數(shù)據(jù)的紅、綠、藍(lán)顏色分量。

用Verilog HDL 語(yǔ)言（一種硬件描述語(yǔ)言）對(duì)公式進(jìn)行描述時(shí)，由于其無(wú)法進(jìn)行浮點(diǎn)運(yùn)算，因此將其擴(kuò)大256 倍再縮小至原值的1/256，最后為避免過(guò)程中結(jié)果出現(xiàn)負(fù)數(shù)可以對(duì)其進(jìn)行變換，變換后的計(jì)算公式如下：

Y=（77×R+150×G+29×B）÷256。 （ 4）

Cb=（-43×R-85×G+128×B+32768）÷256。 （ 5）

Cr=（128×R-107×G-21×B+32768）÷256。 （ 6）

2.2 Sobel 邊緣檢測(cè)

2.2.1 獲得3×3 原始圖像

將周?chē)袼鼗叶戎底兓^為明顯的像素所組成集合稱(chēng)為邊緣，其代表了圖像中信息最豐富的區(qū)域，因此該集合是后續(xù)進(jìn)行復(fù)雜圖像處理算法的重要依據(jù)。同時(shí)在圖像預(yù)處理時(shí)，保證圖像邊緣信息的完整性、邊緣輪廓的清晰性是后續(xù)處理的重要保障。目前在圖像處理領(lǐng)域使用較為廣泛的邊緣檢測(cè)算法包括Roberts 算子、改進(jìn)的LoG 算子、Sobel 算子[13]等，其中Sobel 算子可以滿足本研究的需求，該算子是一種離散性差分算子，具有便于在硬件平臺(tái)上實(shí)現(xiàn)的特點(diǎn)，因此適用于實(shí)際工程。通過(guò)在每個(gè)像素點(diǎn)上與Sobel 模版因子（2 組3×3 的矩陣）進(jìn)行卷積，可以得到相應(yīng)的灰度矢量。在進(jìn)行Sobel 邊緣檢測(cè)算法之前，需要先獲得一個(gè)3×3 原始圖像模板。

為了獲取一個(gè)3×3 原始圖像模板，可以將輸入圖像數(shù)據(jù)的前兩行存入隨機(jī)存取存儲(chǔ)器（randomaccess memory，RAM）中，第3 行是當(dāng)前串口輸入的圖像數(shù)據(jù)。當(dāng)輸入的圖像數(shù)據(jù)到達(dá)時(shí)，使用兩個(gè)RAM 模塊（一個(gè)用于讀取，一個(gè)用于寫(xiě)入）進(jìn)行實(shí)例化，如表1 所示。同時(shí)從RAM1 和RAM0中讀取前兩行數(shù)據(jù)與第3 行數(shù)據(jù)進(jìn)行合并，得到一個(gè)“三行一列”的像素?cái)?shù)據(jù)。通過(guò)連續(xù)地寄存該“三行一列”的陣列3 次，獲取一個(gè)“三行三列”的圖像矩陣，該矩陣就是后續(xù)圖像算法處理所需要的3×3 原始圖像模板。

讀出RAM1 和RAM0 中存儲(chǔ)的兩行數(shù)據(jù)之后，將存儲(chǔ)在RAM0 中的第2 行圖像數(shù)據(jù)寫(xiě)入RAM1中作為第1 行，之前輸入的一行圖像數(shù)據(jù)寫(xiě)入RAM0，從而不斷刷新兩個(gè)RAM 中的數(shù)據(jù)實(shí)現(xiàn)雙RAM 連續(xù)操作。

2.2.2 卷積操作

Sobel 模版因子是2 組3×3 的矩陣，2 組矩陣因子用于進(jìn)行水平和豎直方向的邊緣檢測(cè)。將原始圖像模板與各方向上不同權(quán)重的Sobel 模版因子做卷積操作可以得到兩個(gè)不同方向上的亮度差分近似值。水平和豎直方向的圖像灰度值計(jì)算公式如下：

通過(guò)將結(jié)果邊緣閾值與設(shè)定好的合理閾值進(jìn)行比較，大于設(shè)定閾值即可判斷該像素點(diǎn)是邊緣信息點(diǎn)，在顯示屏上顯示白色邊緣，反之顯示黑色。

3 實(shí)驗(yàn)結(jié)果及分析

對(duì)搭建好的圖像處理系統(tǒng)平臺(tái)進(jìn)行功能和性能測(cè)試，通過(guò)調(diào)整邊緣檢測(cè)閾值參數(shù)大小，將處理后的圖像數(shù)據(jù)在HDMI 顯示屏上進(jìn)行實(shí)時(shí)顯示。結(jié)果表明不同閾值下的實(shí)時(shí)視頻（分辨率為1 280×720）檢測(cè)效果各不相同，通過(guò)調(diào)整閾值大小可以有效地顯示較小字體，如圖2 所示。當(dāng)閾值為55 時(shí)，圖像邊緣部分變得更加纖細(xì)同時(shí)也較為清晰，圖像完整性得以保留（圖2b）。如圖2c 所示，經(jīng)過(guò)閾值為160 的檢測(cè)算法處理后，由于閾值設(shè)置過(guò)大導(dǎo)致一些顏色特征變化不明顯的邊緣點(diǎn)未能準(zhǔn)確檢測(cè)，導(dǎo)致文字邊緣模糊不清。當(dāng)閾值為30 時(shí)，圖像處理結(jié)果如圖2d 所示，閾值設(shè)置過(guò)小是出現(xiàn)很多虛假邊緣的主要原因。因此，設(shè)置合適的閾值對(duì)邊緣檢測(cè)處理效果有較為明顯的影響。通過(guò)對(duì)相同物體進(jìn)行不同閾值的邊緣檢測(cè)，實(shí)驗(yàn)結(jié)果較好地驗(yàn)證了該系統(tǒng)功能的完備性以及圖像算法的有效性。

同時(shí)對(duì)系統(tǒng)片內(nèi)消耗的邏輯資源進(jìn)行匯總，由表2 可以看出，邊緣檢測(cè)算法片內(nèi)資源使用合理，檢測(cè)結(jié)果完全符合預(yù)期且留有豐富資源，為實(shí)現(xiàn)后續(xù)更復(fù)雜的圖像處理算法提供了一個(gè)較好的硬件平臺(tái)。

性能測(cè)試階段，在OpenCV 平臺(tái)和本系統(tǒng)平臺(tái)（軟硬件平臺(tái)）上對(duì)單幀圖像檢測(cè)時(shí)間進(jìn)行對(duì)比，各平臺(tái)邊緣檢測(cè)耗時(shí)比較如表3 所示。在ARM 處理器上調(diào)用OpenCV 函數(shù)對(duì)一幀圖像進(jìn)行邊緣檢測(cè)從而獲得一幀檢測(cè)時(shí)間。在本文設(shè)計(jì)的平臺(tái)上，通過(guò)調(diào)用中斷來(lái)獲取單幀的檢測(cè)時(shí)間，并將其與OpenCV 平臺(tái)的檢測(cè)時(shí)間進(jìn)行比較，以評(píng)估邊緣檢測(cè)速度差異。由表3 可知，采用軟硬件協(xié)同工作的方法對(duì)實(shí)時(shí)視頻中一幀圖像進(jìn)行邊緣檢測(cè)，軟硬件平臺(tái)平均檢測(cè)耗時(shí)相比于OpenCV 平臺(tái)處理速度平均提高了7.225 倍，證明該系統(tǒng)在進(jìn)行圖像處理時(shí)具有更快的速度且后期開(kāi)發(fā)價(jià)值大。

4 結(jié)論

本文提出一種基于FPGA+ARM 的實(shí)時(shí)視頻邊緣檢測(cè)系統(tǒng)，使用全面可編程芯片ZYNQ 作為開(kāi)發(fā)平臺(tái)，系統(tǒng)結(jié)合了FPGA 的并行處理數(shù)據(jù)能力和ARM 處理器的靈活任務(wù)調(diào)度優(yōu)勢(shì)對(duì)圖像進(jìn)行算法處理，處理后的圖像數(shù)據(jù)通過(guò)HDMI 顯示屏進(jìn)行實(shí)時(shí)顯示。該系統(tǒng)充分發(fā)揮了ZYNQ 的PL 端和PS 端通過(guò)AXI 接口進(jìn)行大吞吐量數(shù)據(jù)流交互的優(yōu)勢(shì)，合理利用片內(nèi)資源，為后續(xù)算法的實(shí)現(xiàn)提供一定空間。同時(shí)視頻采集速度能夠達(dá)到實(shí)時(shí)傳輸?shù)囊?，相較于純軟件平臺(tái)算法處理具有明顯優(yōu)勢(shì)，為進(jìn)一步開(kāi)發(fā)復(fù)雜功能的嵌入式視覺(jué)系統(tǒng)奠定基礎(chǔ)。