湯全武，何昊瀚，楊 燕，朱 赫，郭錦程，張?zhí)炀S

(寧夏大學(xué)物理與電子電氣工程學(xué)院，寧夏 銀川 750021)

0 引言

我國馬鈴薯種植面積和產(chǎn)量均居世界首位，但目前馬鈴薯品質(zhì)檢測及分級多處于人工主觀篩選階段，無法滿足工業(yè)生產(chǎn)需要。因此，研究提出了基于高光譜成像技術(shù)的馬鈴薯自動分級系統(tǒng)，采用高光譜獲取包含馬鈴薯信息的多幅圖像，利用光譜圖像處理技術(shù)實現(xiàn)馬鈴薯的快速無損分級[1-3]。在前人工作基礎(chǔ)上，需研究基于多目視覺實現(xiàn)馬鈴薯動態(tài)分級的新方法。由于馬鈴薯在檢測過程中一直處于運(yùn)動狀態(tài)，因此研究的關(guān)鍵前提是保證多部相機(jī)能夠連續(xù)同步地采集到馬鈴薯的外部圖像。

相機(jī)同步采集是指在外部時序的控制下實現(xiàn)多相機(jī)的同步曝光[4-6]。溫小艷等[6]設(shè)計了基于FPGA的雙目視覺同步采集系統(tǒng)，解決了手術(shù)導(dǎo)航系統(tǒng)中的兩相機(jī)不同步問題。林冬梅等[7]采用千兆以太網(wǎng)作為傳輸總線接口，搭建了雙相機(jī)圖像實時采集系統(tǒng)。馬強(qiáng)等[8]設(shè)計了一種基于PCI總線接口的設(shè)計方法。姜廣文等[9]設(shè)計了一種多相機(jī)外觸發(fā)的方式，采用USB 2.0接口傳輸圖像數(shù)據(jù)，相機(jī)在同步控制軟件作用下，實現(xiàn)多個相機(jī)同步采集處理系統(tǒng)。也有不少研究者采用GPS授時同步電路控制相機(jī)同步曝光，并且達(dá)到了微秒級別的精度[10-11]。但上述研究方法均存在一定的局限性，如基于FPGA的同步策略需要較長的開發(fā)周期；采用PCI、USB等傳輸方式速度較慢，且限制因素較多；基于GPS授時的同步策略精度較高，但易受到現(xiàn)場環(huán)境干擾。

本文采用3個CCD相機(jī)為基本采集單元，以STM32F103系列單片機(jī)為同步信號控制器，通過合理設(shè)置STM32中的定時器產(chǎn)生3路頻率與占空比相同的PWM脈沖信號。產(chǎn)生的PWM信號經(jīng)放大電路放大，達(dá)到相機(jī)采用Line0接口進(jìn)行外觸發(fā)時的高電平電壓值，實現(xiàn)對3臺CCD相機(jī)的同步控制與觸發(fā)。由于相機(jī)配套軟件只能實現(xiàn)單個相機(jī)的采集工作，需要在軟件的基礎(chǔ)上再次開發(fā)設(shè)計實現(xiàn)3臺相機(jī)的同步采集和圖像同步存儲功能的軟件系統(tǒng)[8]。為使得相機(jī)采集的圖像能夠快速傳輸至計算機(jī)進(jìn)行識別，保證馬鈴薯分級系統(tǒng)的實時性，相機(jī)用千兆網(wǎng)線與帶有4通道千兆網(wǎng)卡的主機(jī)相連，完成整個圖像采集的工作流程。

1 同步采集系統(tǒng)方案設(shè)計

馬鈴薯動態(tài)分級系統(tǒng)擬通過3臺相機(jī)獲得的同步圖像序列融合得出馬鈴薯完整的表面信息，并利用該信息進(jìn)行后續(xù)馬鈴薯等級的分類。馬鈴薯動態(tài)分級系統(tǒng)的整體流程如圖1所示，其中馬鈴薯表面圖像采集是整個方案的前提。

圖1 馬鈴薯動態(tài)分級系統(tǒng)流程Fig.1 Flow chart of potato dynamic grading system

多目相機(jī)同步采集整體方案示意如圖2所示，其中包含3臺由中國大恒圖像公司生產(chǎn)的CCD工業(yè)數(shù)字相機(jī)，型號為MER-125-30GC-P，分辨率1 292×964，最大幀率30幀/s，數(shù)據(jù)傳輸接口支持千兆以太網(wǎng)且具有外部觸發(fā)采集功能；1臺惠普計算機(jī)，8 GB運(yùn)行內(nèi)存，Intel Xeon E5 CPU，主頻3.50 GHz；1塊4通道千兆網(wǎng)卡，型號為Intel-EXPI-9404-PTL；4根千兆網(wǎng)線，用于實現(xiàn)工業(yè)相機(jī)和計算機(jī)之間的圖像數(shù)據(jù)傳輸，以及相機(jī)參數(shù)的控制；德國SICK公司的光電傳感器1件，型號為WL-3P430，作為單片機(jī)產(chǎn)生觸發(fā)脈沖的外部信號；單片機(jī)開發(fā)板1塊，單片機(jī)芯片型號為STM32F103R6，用于產(chǎn)生3路同步觸發(fā)脈沖，經(jīng)放大電路放大之后控制3部相機(jī)同步工作。

圖2 多目相機(jī)同步采集整體方案Fig.2 Overall scheme design of multi camera synchronous acquisition

2 系統(tǒng)同步控制模塊設(shè)計

以STM32F103R6單片機(jī)作為同步信號控制器，將3臺相機(jī)的觸發(fā)模式設(shè)置成外觸發(fā)采集模式，產(chǎn)生的同步脈沖信號再經(jīng)放大電路放大后，實現(xiàn)對3臺相機(jī)的同步觸發(fā)。

2.1 同步信號控制器設(shè)計

同步信號控制器由STM32F103R6單片機(jī)、復(fù)位電路、按鍵電路、PG12864液晶顯示屏、放大電路及計算機(jī)等組成，另外包括1個光電傳感器。同步信號控制器設(shè)計如圖3所示。

圖3 同步信號控制器設(shè)計Fig.3 Design of synchronous signal controller

STM32F103R6本身帶有1個高級定時器(TIM1)和3個16位的通用定時器(TIM2TIM3TIM4)。定時器通過設(shè)置均可產(chǎn)生一路或多路PWM信號。本同步控制設(shè)計就是采用STM32自帶的通用定時器來產(chǎn)生3路頻率與占空比相同的PWM信號，實現(xiàn)對3個相機(jī)的同步控制。

2.2 同步觸發(fā)信號

系統(tǒng)采用SICK公司的WL-3P430型光電傳感器模塊作為單片機(jī)產(chǎn)生觸發(fā)脈沖的外部信號，利用STM32單片機(jī)編程產(chǎn)生同步觸發(fā)脈沖，用于控制3臺相機(jī)同步工作。

光電傳感器檢測傳送帶上的馬鈴薯是否到達(dá)采集范圍，當(dāng)接收到馬鈴薯到達(dá)的信號時，以STM32為主控的信號發(fā)生器產(chǎn)生周期相同且同步的脈沖觸發(fā)信號，該觸發(fā)信號可與相機(jī)的1號插針Line0+口相連接，控制相機(jī)開始曝光。為保證3臺相機(jī)能夠連接在同一臺計算機(jī)上正常工作，采用了1塊4通道千兆網(wǎng)卡及3條千兆網(wǎng)線來解決普通計算機(jī)只支持單個網(wǎng)絡(luò)的問題，實現(xiàn)3臺相機(jī)同時工作的具體流程如圖4所示。

圖4 3臺相機(jī)同步工作流程Fig.4 Work flow of three cameras synchronization

3 系統(tǒng)同步采集模塊設(shè)計

3.1 相機(jī)同步曝光

相機(jī)同步曝光是實現(xiàn)圖像同步采集的關(guān)鍵。選用的大恒MER系列相機(jī)同時具有軟觸發(fā)和外觸發(fā)控制相機(jī)曝光的功能，MER系列相機(jī)采用8插針I(yè)/O接口，其中1號插針(Line0+)為接收外部觸發(fā)信號的端口。當(dāng)輸入電平>2.8 V時，被認(rèn)為屬于有效觸發(fā)信號，且觸發(fā)信號類型可根據(jù)需求自由設(shè)定為上升沿觸發(fā)或下降沿觸發(fā)。當(dāng)相機(jī)接收到有效觸發(fā)信號時，便開始曝光，通過控制有效觸發(fā)信號的產(chǎn)生周期，相機(jī)便可以根據(jù)系統(tǒng)所需采集頻率進(jìn)行圖像的采集。

MER-125-30GC-P相機(jī)在外觸發(fā)模式下的工作時序如圖5所示。其中，曝光延遲時間可根據(jù)需要在16～10 000 000 μs進(jìn)行調(diào)整。當(dāng)曝光積分完成后即可進(jìn)行數(shù)據(jù)傳輸，圖像數(shù)據(jù)的傳輸存在短暫的延遲，延遲時間約10 μs，在經(jīng)過短暫的傳輸延遲后圖像數(shù)據(jù)可通過網(wǎng)線傳送至計算機(jī)中，完成由觸發(fā)到采集的流程。

圖5 相機(jī)在外觸發(fā)模式下的工作時序Fig.5 Working sequence of camera in external trigger mode

3.2 圖像采集及存儲

實現(xiàn)3臺相機(jī)可以同步的采集，并完成同步存儲功能，為進(jìn)行后續(xù)馬鈴薯圖像的識別處理和快速分類奠定基礎(chǔ)是本項目中最為核心重要的功能，因此在大恒提供的配套Galaxy Viewer采集軟件與GigE IP Configurator輔助工具及MERCURY軟件包基礎(chǔ)上，設(shè)計馬鈴薯圖像采集系統(tǒng)，實現(xiàn)3臺相機(jī)能夠同步采集馬鈴薯圖像，并且將采集到的圖像保存至指定文件夾。

系統(tǒng)軟件程序的主要功能如下。首先，初始化系統(tǒng)，配置系統(tǒng)與相機(jī)間的IP地址，使得二者之間確保通信及實現(xiàn)數(shù)據(jù)傳輸，連接好相機(jī)后對相機(jī)的相關(guān)參數(shù)進(jìn)行設(shè)置，做好采集圖像的準(zhǔn)備工作。接下來，在進(jìn)行同步采集前，第1次打開軟件進(jìn)行采集時，需要先設(shè)置3臺相機(jī)采集圖像的存儲路徑，否則采集的圖像無法保存使得系統(tǒng)無法運(yùn)行。然后，在選擇連續(xù)觸發(fā)模式后進(jìn)行圖像的同步采集。最后，停止采集退出程序。同步采集軟件界面如圖6所示。

圖6 系統(tǒng)采集工作畫面Fig.6 System acquisition work screen

4 試驗測試及結(jié)果

在對相機(jī)進(jìn)行同步測試之前，首先需要調(diào)整并固定3部相機(jī)的工作距離及其分辨率?？紤]到3臺相機(jī)分別從馬鈴薯的正上方、左側(cè)及右側(cè)3個方向進(jìn)行采集，3個相機(jī)同步拍攝的馬鈴薯圖像會有部分的重疊視場，在保證獲取到完整馬鈴薯表面圖像的基礎(chǔ)上，可適當(dāng)減小視場重疊，提高后期圖像數(shù)據(jù)融合及處理的效率。因此，采集系統(tǒng)中3臺相機(jī)的工作距離約距離待測馬鈴薯10～15 cm，可根據(jù)現(xiàn)場具體情況適當(dāng)更改，合適地調(diào)整3臺相機(jī)的空間相對位置，最大獲得馬鈴薯圖像完整表面信息。為同時兼顧圖像清晰度及數(shù)據(jù)處理效率，將采集圖像的分辨率設(shè)定為620像素×480像素。3臺相機(jī)的實際位置分別如圖7所示。

圖7 相機(jī)空間擺放位置Fig.7 Camera space placement

4.1 相機(jī)的同步性能測試

雖然3臺相機(jī)可同步采集到運(yùn)動的馬鈴薯圖像，但效果并不直觀，需要用更直觀的方式來測試其同步性能。測試方法是用3臺相機(jī)同步采集正在運(yùn)動的視頻畫面和計時的秒表圖像來測試相機(jī)的同步性能。

首先測試3臺相機(jī)可以到達(dá)的最高同步幀率，將3臺相機(jī)置于同一方向，如圖8所示。

圖8 相機(jī)測試擺放位置Fig.8 Camera test placement

將3臺相機(jī)同時對正在播放的視頻進(jìn)行圖像采集，并保持觸發(fā)脈沖的幀率和視頻幀率一致。逐漸提高視頻的播放幀率，直到3臺相機(jī)采集的圖像出現(xiàn)不同步，以測試3臺相機(jī)的最高同步幀率。為保證測試的準(zhǔn)確性，測試視頻采用2004年雅典奧運(yùn)會110 m欄決賽錄像。如圖9所示為視頻幀率12幀/s時，某一時刻3臺相機(jī)所采集到的圖像。

圖9 某一時刻拍攝視頻采集圖像Fig.9 Video capture image at a certain moment

測試結(jié)果表明，3臺相機(jī)的最高同步幀率能夠達(dá)到12幀/s。當(dāng)不斷地提高視頻幀率和觸發(fā)脈沖頻率時，3臺相機(jī)的同步性能表現(xiàn)如圖10所示。

圖10 相機(jī)同步性能曲線Fig.10 Camera synchronization performance curve

當(dāng)圖像的采集幀率<12幀/s時，3臺相機(jī)能夠持續(xù)穩(wěn)定地進(jìn)行同步采集。采集幀率由13幀/s上升至19幀/s的過程中，3臺相機(jī)保持同步采集的時間出現(xiàn)迅速下降(由45 s下降到6 s)，當(dāng)系統(tǒng)的工作時間超過最大同步采集時間時，3臺相機(jī)采集到的圖像已經(jīng)處于完全的不同步狀態(tài)。采集幀率為23幀/s時，3臺相機(jī)已經(jīng)完全不能進(jìn)行同步采集。試驗結(jié)果表明，當(dāng)觸發(fā)脈沖的頻率>12 Hz時，隨著觸發(fā)頻率的增高，圖像采集出現(xiàn)的丟幀現(xiàn)象也更為嚴(yán)重。

4.2 結(jié)果分析

由試驗測試結(jié)果可知，3臺相機(jī)最高能在幀率為12幀/s的外觸發(fā)信號下進(jìn)行圖像的同步采集工作。在馬鈴薯動態(tài)分級系統(tǒng)中，整個圖像的采集及處理處于實時狀態(tài)，要求單個馬鈴薯從圖像的采集、數(shù)據(jù)處理到最后分級完成的整體時間不超過0.2 s，即圖像的采集頻率為5次/s。而圖像采集僅僅是系統(tǒng)前端的一部分，因此圖像的采集頻率也不宜過高，否則將會導(dǎo)致馬鈴薯分級的失敗。

3臺相機(jī)的同步幀率已經(jīng)完全能夠滿足當(dāng)前系統(tǒng)的需求，并且預(yù)留出了較大的提升空間，當(dāng)系統(tǒng)的分級速度提高時，該系統(tǒng)仍然能夠持續(xù)穩(wěn)定的進(jìn)行工作，具有較好的魯棒性。多相機(jī)同步采集馬鈴薯圖像的實現(xiàn)，解決了馬鈴薯動態(tài)分級系統(tǒng)中的關(guān)鍵問題，為后續(xù)的圖像分類提供了完整的數(shù)據(jù)。

5 結(jié)束語

針對馬鈴薯動態(tài)分級系統(tǒng)中的圖像同步采集問題，提出了一種基于千兆以太網(wǎng)的三目相機(jī)同步采集方案。方案通過1塊4通道千兆網(wǎng)卡將計算機(jī)和3臺相機(jī)相連接，并基于大恒相機(jī)的軟件開發(fā)工具包(Software Development Kit，SDK)開發(fā)了3部相機(jī)同步采集及自動存儲軟件，實現(xiàn)圖像的同步采集及自動存儲。在當(dāng)前計算機(jī)的配置下，同步幀率達(dá)12幀/s，解決了分級系統(tǒng)中存在的圖像同步采集問題。基于機(jī)器視覺的馬鈴薯自動分級系統(tǒng)在工業(yè)生產(chǎn)中具有廣闊的應(yīng)用前景，本文設(shè)計的多相機(jī)同步采集方案，解決了馬鈴薯自動分級系統(tǒng)中的關(guān)鍵問題，為馬鈴薯自動分級系統(tǒng)的工業(yè)化打下了堅實的基礎(chǔ)。