蔡浩聰 謝云 劉家曉 鄭海成

(廣東工業(yè)大學 自動化學院)

1 引言

基于可編程片上系統(tǒng)的SOPC技術(shù)是目前國內(nèi)外電子領(lǐng)域中的研究熱點，它將并行結(jié)構(gòu)和并行計算集于一體，采用了軟硬件協(xié)同設(shè)計和 IP復(fù)用的思想，能夠減少產(chǎn)品開發(fā)時間，降低功耗，高效利用FPGA資源，因此可以實現(xiàn)高速低功耗低成本的實時嵌入式機器視覺檢測系統(tǒng)。隨著技術(shù)的不斷進步，F(xiàn)PGA的集成度越來越高，可以實現(xiàn)的設(shè)計規(guī)模越來越大，而功耗越來越低。因此，基于FPGA的嵌入式視覺系統(tǒng)將是計算機視覺系統(tǒng)的重要發(fā)展方向[1]。

隨著消費類電子產(chǎn)品的增多，各種小型的音響設(shè)備的需求也隨之增多，音響設(shè)備的音質(zhì)主要由揚聲器的重要部件音膜決定，而音膜的質(zhì)量主要由其內(nèi)外圓的同心度決定，音膜的生產(chǎn)加工及質(zhì)量檢測便成為市場競爭中的重要因素。對音膜同心度的求取過程要解決的重點問題是對音膜內(nèi)外圓邊緣的在線實時檢測。目前國內(nèi)暫無成熟的音膜同心度機器視覺檢測系統(tǒng)。

針對上述情況，本文采用SOPC、可編程邏輯器件、IP復(fù)用等技術(shù)，設(shè)計了一種基于SOPC的實時視覺檢測系統(tǒng)。主要介紹了該系統(tǒng)中總體設(shè)計方案，并采用Sobel算子，以音膜的內(nèi)外圓邊緣檢測為例，證明了該系統(tǒng)的高速實時性。本設(shè)計不僅帶來一定的實用價值，也為高速智能相機的開發(fā)提供了有用的參考。

2 系統(tǒng)整體設(shè)計

2.1 系統(tǒng)硬件結(jié)構(gòu)

SOPC技術(shù)是將CPU、存儲器、I/O接口等系統(tǒng)設(shè)計所必須的模塊封裝為IP核集成在一片F(xiàn)PGA上，是一種新的系統(tǒng)設(shè)計技術(shù)。這種設(shè)計方式，有開發(fā)周期短、設(shè)計靈活、可裁減、可擴充、可升級、軟硬件在系統(tǒng)可編程的功能，特別適用于復(fù)雜系統(tǒng)的設(shè)計[2]。由于SOPC技術(shù)的諸多優(yōu)點，本文采用這種技術(shù)設(shè)計了一種基于SOPC的嵌入式視覺檢測系統(tǒng)。系統(tǒng)總體框圖如圖1所示。

本系統(tǒng)采用了北京合眾達公司的教學實驗平臺SEED-XDTK-V4為硬件開發(fā)平臺和Xilinx公司的嵌入式開發(fā)工具 EDK 為軟件開發(fā)平臺。SEED-XDTK-V4實驗箱配置了Xilinx公司的Virtex-4系列的FPGA芯片，該芯片擁有23040個邏輯單元和128 個信號處理單元（Xtreme DSP Slices）等豐富資源。EDK開發(fā)套件自帶了許多工具和IP，可以用來設(shè)計完整的嵌入式處理器系統(tǒng)，主要包括Xilinx平臺工作室XPS和軟件開發(fā)套件SDK。本系統(tǒng)工程包括了 MicroBlaze軟核處理器、OPB總線、DDR 控制器、DMA控制器、圖像處理算法模塊等。MicroBlaze軟核是一種針對 Xilinx FPGA 器件而優(yōu)化的功能強大的32位微處理器，支持CoreConnect總線的標準外設(shè)集合，具有較好的兼容性和重復(fù)利用性。各外設(shè)模塊以IP核形式靈活的連接到OPB總線上，使系統(tǒng)的設(shè)計具有很好的重構(gòu)能力和靈活性。系統(tǒng)的SOPC工程如圖2所示。主要IP核的功能簡單介紹如下：

UART模塊：I2C 配置視頻解碼芯片TVP5150PBS工作模式；

DMA模塊：內(nèi)存與外設(shè)之間進行批量的數(shù)據(jù)傳輸。使用DMA控制器對圖像數(shù)據(jù)的存儲進行操作，這樣可減少CPU的處理負擔和功耗，提高圖像處理速度；

CCD_Controllor模塊：采集視頻解碼芯片TVP5150PBS解碼后的視頻數(shù)據(jù)，并進行圖像格式轉(zhuǎn)換。其中配置了TVP5150PBS為YUV格式輸出，“Y”表示明亮度（Luminance），也就是灰階值；“U”和“V”表示色度（Chrominance）。通過圖像數(shù)據(jù)采集模塊將接收到的YUV圖像轉(zhuǎn)換為8位灰度圖像格式，將3個像素點共24位數(shù)據(jù)合并為32位數(shù)據(jù)（高8位補零），然后送OPB總線，因此，每一次總線傳輸相當于傳輸了3個像素的數(shù)據(jù)。這里不采用一次傳輸4個像素點的灰度數(shù)據(jù)的原因是：3個像素數(shù)據(jù)的傳輸有利于后面圖像處理算法的實現(xiàn)；

PLC_Ctr模塊：用于與外設(shè) PLC 進行通信，控制 PLC進行相應(yīng)的操作，例如控制外部傳感器，啟動剔除裝置剔除流水線上不合格的產(chǎn)品等；

VGA模塊：產(chǎn)生數(shù)字圖像輸出對應(yīng)的時序，若圖像數(shù)據(jù)未經(jīng)MicroBlaze CPU處理，則直接數(shù)據(jù)流輸出；若圖像數(shù)據(jù)經(jīng)CPU處理，則使用乒乓操作的方式，將圖像數(shù)據(jù)轉(zhuǎn)換為27MHz輸出；

Pic_Processing模塊：數(shù)字圖像處理算法的實現(xiàn)。該模塊可根據(jù)項目的具體要求設(shè)計相應(yīng)的圖像處理算法IP核，該圖像處理 IP核既可以完全使用硬件設(shè)計方式完成整個圖像處理過程，直接輸出顯示最終結(jié)果，也可以只完成圖像的前期預(yù)處理部分，然后把處理后的關(guān)鍵數(shù)據(jù)送入MicroBlaze軟核 CPU中，通過軟件處理方式得到最終的處理結(jié)果再進行VGA輸出顯示。因此該模塊的設(shè)計是項目設(shè)計的重點和難點。下面將以音膜圖像的內(nèi)外圓輪廓檢測為例，具體介紹該模塊IP的設(shè)計流程和實現(xiàn)方法。

圖2 EDK中SOPC工程

2.2 系統(tǒng)的軟件設(shè)計

由于系統(tǒng)中采用了DMA傳輸技術(shù)，圖像處理算法完全由硬件實現(xiàn)，因此MicroBlaze CPU主要完成了系統(tǒng)的初始化、外設(shè)的配置和DMA的控制等簡單操作。軟件設(shè)計流程如圖3所示。

圖3 系統(tǒng)軟件設(shè)計流程

3 音膜內(nèi)外圓邊緣檢測算法IP

3.1 算法原理

該應(yīng)用中的數(shù)字圖像處理算法的主要思路是：讀取音膜圖像數(shù)據(jù)到圖像處理模塊IP，進行數(shù)據(jù)緩存，再進行中值濾波處理，濾除干擾噪聲，接著運用Sobel算子對音膜圖像進行內(nèi)外圓邊緣檢測，然后對圖像進行二值化處理。由于邊緣檢測算法的數(shù)據(jù)量較大，為達到實時處理的要求，本文采用了算法全硬件實現(xiàn)的設(shè)計方法。

3.2 Sobel算子介紹

Sobel算子是測量沿水平方向和垂直方向兩個方向的灰度差，然后把測量值合并起來形成邊緣強度。Sobel的水平方向梯度算子和垂直方向梯度算子分別如圖4(a)和圖4(b)所示，圖4(c) 為圖像的3×3區(qū)域（Z為8位灰度值）[3]。

圖4 Sobel算子和圖像3×3區(qū)域

得到Sobel算子的梯度的模的近似表達式為：

判斷梯度模的值是否大于或等于設(shè)定的閾值T，若是則置該點為灰度值255，反之置0，即：

3.3 Sobel算子的硬件實現(xiàn)方法

Sobel算子的硬件實現(xiàn)使用了Xilinx公司的高性能 DSP系統(tǒng)的快速建模和實現(xiàn)工具 System Generator。該工具是Xilinx公司的系統(tǒng)級建模工具，在很多方面擴展了MathWorks公司的Simulink平臺，提供了合適硬件設(shè)計的數(shù)字信號處理(DSP)建模環(huán)境，加速、簡化了FPGA的DSP系統(tǒng)級硬件設(shè)計[4]。圖5為在Simulink中使用System Generator工具搭建起的Sobel算子模型。輸入圖像數(shù)據(jù)通過水平方向和垂直方向兩個濾波器后，再把兩個濾波器輸出的值進行相加，然后再通過閾值T相比，進行二值化，輸出最終結(jié)果。整個Sobel算子使用了11個加減法器和一個雙口隨機存取存儲器（Dual Port RAM）等資源。整個設(shè)計思路嚴格按照Sobel的算法步驟進行設(shè)計。

圖5 Sobel算子模型

在 Sobel算子模型上加入中值濾波和二值化模塊，使用 System Generator軟件將算法模型轉(zhuǎn)化為HDL工程，進行優(yōu)化和綜合，通過Modelsim仿真驗證算法的正確性，仿真結(jié)果如圖6所示。

圖6 Modelsim中算法仿真結(jié)果

在EDK軟件中，通過編寫自定義IP中的MPD文件、PAO文件和用戶邏輯(user_logic)模塊，通過編寫端口轉(zhuǎn)換和時序調(diào)節(jié)程序，將圖像算法模塊封裝成IP核，掛接到OPB總線上，配合一定的控制時序，通過MicroBlaze軟核的軟件程序調(diào)用該IP核模塊，完成整個系統(tǒng)的運行。

4 實驗及結(jié)果分析

圖7 PC和FPGA檢測結(jié)果

圖7(a)為音膜的原圖像，圖7(b)為PC上在VC++軟件中使用Sobel算子檢測得到的音膜內(nèi)外圓輪廓，圖7(c)為基于FPGA上檢測得到的結(jié)果。由兩圖對比可得，PC上檢測得到的輪廓比較纖細，在邊緣出現(xiàn)斷裂，需要進一步的圓擬合，并且PC檢測的噪聲較大，而FPGA檢測得到的輪廓明顯，且無斷裂部分。

由于PC和SOPC的圖像采集時間和顯示時間相差不大，因此對比PC系統(tǒng)和SOPC系統(tǒng)的處理速度快慢，主要是對比數(shù)字圖像處理模塊的處理時間。SOPC系統(tǒng)中圖像處理模塊在Modelsim中的仿真時間計算公式為：仿真時間=一個仿真周期時間*仿真周期數(shù)。仿真中設(shè)置了一個仿真周期時間為20ns，即系統(tǒng)頻率為50MHz。得到音膜圖片使用基于Sobel算子的圖像處理算法分別在VC++平臺上和FPGA平臺上的處理時間，如表1所示?？梢娫贔PGA上實現(xiàn)圖像處理算法其處理速度比PC高出約22倍，可以實現(xiàn)高速在線實時檢測。

表1 PC和FPGA上音膜內(nèi)外圓邊緣檢測時間（單位：ms）

5 結(jié)論

本文以30mm以下的黑色音膜為研究對象，利用SOPC技術(shù)，設(shè)計了一種實時檢測系統(tǒng)。采用了FPGA并行處理和軟硬件協(xié)同設(shè)計，使系統(tǒng)具有實時性、可重構(gòu)性強、體積小、低功耗低成本等優(yōu)點。實驗結(jié)果表明，基于SOPC的音膜內(nèi)外圓邊緣檢測系統(tǒng)功耗低，運行穩(wěn)定，檢測速度快，可實現(xiàn)音膜的在線實時檢測，解決了流水生產(chǎn)線上產(chǎn)品無法進行實時檢測的關(guān)鍵問題。

[1]原魁,肖晗等.采用 FPGA 的機器視覺系統(tǒng)發(fā)展現(xiàn)狀與趨勢[J].計算機工程與應(yīng)用,2010,46(36):1-5.

[2]黃云,楊尊先.基于 SOPC的數(shù)據(jù)采集與處理系統(tǒng)設(shè)計[J].電子器件,2010,33(1):68-70.

[3]李明,趙勛杰,毛偉民.Sobel邊緣檢測的 FPGA 實現(xiàn)[J].現(xiàn)代電子技術(shù),2009,16:44-46.

[4]高展宏,王強.多媒體處理FPGA實現(xiàn)—System Generator篇[M].北京:電子工業(yè)出版社,2010:71-72.

[5]Babu T Chacko, Siddharth Shelly. Real-Time Video Filtering and Overlay Character .Generation on FPGA. 2010 International Conference on Recent Trends in Information,Telecommunication and Computing,2010,26:184-188.

[6]XILINX. Xilinx System Generator Manual[S]. 2008.