宋立明,李秀華,李萬龍

(長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院,長春 130012)

0 引 言

目前,我國儲備糧食監(jiān)管和稽核采用的都是人工操作,且國家儲備糧庫具有分散性,所以精確而又有效地監(jiān)管和稽核儲備糧成為監(jiān)管部門的一大難題,虛庫、偷盜和虛報貼息等不良現(xiàn)象影響了國家對糧食的宏觀調(diào)控能力,給國家造成了巨大的經(jīng)濟損失[1]。數(shù)字圖像的獲取、傳輸和圖像可識別技術(shù)的發(fā)展為儲備糧食的自動監(jiān)管和稽核問題提供了有效的解決方案。因此,基于機器視覺的糧食數(shù)量自動識別系統(tǒng)將成為糧食監(jiān)管部門的管理需求。

目前,儲備糧數(shù)量檢測方法主要有稱重計量法、主動測量法和圖像識別法。其中稱重計量法和主動測量法用時多,對設(shè)備要求高,維護成本也較高。圖像識別法中的雙(多)目視覺法存在立體匹配、三維信息恢復(fù)、匹配精度[2]等許多問題需要研究和解決;單目視覺法中,單CCD圖像是二維的,缺乏三維信息,因此三維重建會出現(xiàn)多義性和病態(tài)。

鑒于此,筆者提出一種基于激光測距及三維重構(gòu)技術(shù)的方法,給出了所需的實驗設(shè)備及其安裝要求。從理論上分析了利用激光測距傳感器測得的距離信息對攝像機進行標(biāo)定,以及利用這些距離信息和具有激光光斑的二維圖像進行三維坐標(biāo)計算,以獲得糧面高度信息的原理及過程,并論述了該方法相對現(xiàn)有方法的優(yōu)越性。

1 糧食數(shù)量檢測方法

目前,糧食數(shù)量檢測的方法可歸納為3種。

1)稱重計量法。物體通過放置地衡的通道時可以自動稱重,隨后把稱重結(jié)果發(fā)給管理者審核。我國少量的國家級大型儲備庫采用此方法。此方法對設(shè)備要求高,維護成本也較高。

2)主動測量法。某一物體表面與檢測探頭間的距離信息是應(yīng)用激光、全球定位系統(tǒng)(GPS：Global Positioning System)和紅外掃描等技術(shù)測定,然后應(yīng)用坐標(biāo)由空間3點計算的原理,將多個探頭獲取的數(shù)據(jù)進行擬合,以獲得物體的全數(shù)字化表達(dá)。最后重積分?jǐn)?shù)字化的物體獲取體積,物體的重量就是該體積與密度的乘積。由于此方法要掃描物體的多個點,所以用時多,并且設(shè)備成本高。

3)圖像識別法。主要有雙(多)目視覺法及單目視覺法兩種。雙(多)目視覺法需要從兩個(或多個)視角觀測同一物體,物體的三維(立體)信息利用三角測量獲取,但同時要計算圖像與圖像間的視差。這種方法還有立體匹配、三維信息恢復(fù)、匹配精度等許多問題需要研究和解決。單目視覺法中,單CCD(Charge-Coupled Device)圖像作為單目視覺法的識別目標(biāo),識別二維的圖像并計算相關(guān)的三維信息,以便把二維圖像變成人們想要的三維圖像。單CCD圖像是二維的,缺乏三維信息,因此,三維重建會出現(xiàn)多義性和病態(tài)。

4)基于激光測距及三維重構(gòu)技術(shù)的方法。將激光測距及三維重構(gòu)技術(shù)應(yīng)用于散裝倉糧食數(shù)量識別中,是筆者提出的一種新的糧食數(shù)量識別方法。它是將激光器與攝像頭安裝在兩個云臺上。通過轉(zhuǎn)動云臺獲得不同角度的激光器到糧面的距離信息,利用這些距離信息對攝像機進行標(biāo)定,這是一種快速的新方法； 利用測得的距離信息和具有激光光斑的二維圖像進行三維坐標(biāo)計算,以獲得糧面高度信息。該方法將主動測量法與單目視覺法相結(jié)合,僅用一個攝像頭和一臺激光器,結(jié)構(gòu)簡單,攝相機標(biāo)定快速,且設(shè)備價格較低。

目前,基于圖像識別技術(shù)的袋裝倉和表面平整的散裝倉的糧食數(shù)量識別方法已有一些論文研究,但未見產(chǎn)品； 對于表面凸凹不平的散裝倉和露天糧堆的數(shù)量識別并未有報道,筆者提出的方法,可解決這類問題。

2 基于圖像的袋裝糧倉數(shù)量識別方法

文獻[3]提出了基于圖像識別的袋裝糧倉數(shù)量識別方法,通過攝像機對糧倉現(xiàn)場進行圖像采集,然后對糧堆相鄰3個面上橢圓狀“魚鱗體”的數(shù)目進行識別,即可得到糧袋數(shù)量,從而得到糧食數(shù)量。

該方法的實現(xiàn)過程如下。

1)圖像降噪。圖像在采集、傳輸?shù)倪^程中會產(chǎn)生各種噪聲。先把圖像轉(zhuǎn)化為灰度圖像,再判斷圖像中的噪聲像素,然后使用中值濾波有效地去除噪聲。

2)“魚鱗體”特征突顯。對降噪后的圖像進行“魚鱗體”的特征提取。先進行二值化,即用Sobel算子檢測圖象的邊緣； 然后根據(jù)已定義的閾值范圍,判斷非邊緣像素點是在橢圓內(nèi)還是在邊界上,若在橢圓內(nèi),像素值被設(shè)置為255,否則設(shè)置為0。

采用鄰域推斷法進行閉合化,以免把相鄰的兩袋糧食誤判為一袋。某點周圍的4個鄰域中如果有3個以上與該點像素值一樣,則該點像素值f′(i,j)被保留； 否則該點像素值被設(shè)置為：255-f′(i,j)。

3)“魚鱗體”參數(shù)表達(dá)。“魚鱗體”參數(shù)用幾何矩法獲取。該方法是先計算每個閉合像素塊(R)的矩特征值,即：計算方向角θ、質(zhì)心(a,b)和長短軸； 之后對比閉合像素塊(R)和與該像素塊近似的橢圓的特征參數(shù)(方向角、長短軸之比、面積等),置信區(qū)間內(nèi)若在80%以上相等,則該閉合像素塊(R)被判斷為一個糧袋； 最后計算此橢圓“魚鱗體”的橢圓度[4],以此確定糧袋所屬面。

3 基于標(biāo)尺的散裝糧倉數(shù)量識別方法

文獻[5]是基于矩形標(biāo)尺的表面平整的散裝倉糧食數(shù)量識別方法。其主要思想概述如下：假設(shè)散裝糧倉底面積為S,高為H,糧食的密度為ρ。如果得到糧面以上矩形標(biāo)尺的長度L,則糧食的質(zhì)量M=ρV,體積V=S(H-L)。所以,關(guān)鍵問題是對糧面以上矩形標(biāo)尺長度的識別和測算。矩形標(biāo)尺的顏色、尺寸和長寬比例等因素影響著識別的精度。

矩形標(biāo)尺的識別過程如下。

1)顏色提取。將攝像頭采集到的RGB(紅、綠、藍(lán))格式圖像轉(zhuǎn)換到HIS(色調(diào)、飽和度和強度)模型空間[6]。在HIS彩色模型中,紅色區(qū)域分布在315°～360°和0°～23°內(nèi)。據(jù)此可提取矩形標(biāo)尺的紅色區(qū)域,即確定 ROI區(qū)域[7]。

2)邊緣檢測。采用Robert邊緣檢測算子進行邊緣提取,以更加精確地減少ROI區(qū)域像素點。

3)矩形標(biāo)尺的判定。對已標(biāo)記的ROI邊緣區(qū)域進行邊緣平滑處理[8],然后進行矩形標(biāo)尺的確定。先根據(jù)矩形的4個內(nèi)角均為90°的特征,利用角度隸屬函數(shù)確定ROI區(qū)域； 再根據(jù)矩形的鄰邊長度不等的特征,利用鄰邊隸屬函數(shù)[9]進一步確定ROI區(qū)域； 最后再對其進行視角誤差校正。根據(jù)校正后的對象體與原始標(biāo)尺的比例關(guān)系確定其尺寸,即可得到糧面以上矩形標(biāo)尺長度L,則糧面高度為(H-L),從而可以計算糧食質(zhì)量。

4 基于激光測距及三維重構(gòu)技術(shù)的散裝糧倉數(shù)量識別方法

筆者提出的基于激光測距及三維重構(gòu)技術(shù)的散裝糧倉數(shù)量識別方法,既適用于表面平整的糧倉,又適用于凸凹不平的散裝倉和露天糧堆。其實現(xiàn)過程如下。

1)激光測距。利用脈沖激光測距法進行測距,激光經(jīng)準(zhǔn)直瞄準(zhǔn)后照射被測目標(biāo),遇到目標(biāo)后,激光脈沖的部分能量從目標(biāo)返回到接收器上。當(dāng)光速為c,發(fā)射信號和回波信號的時間間隔為t時,目標(biāo)距離L=1/2ct。

這里擬采用FPGA(Field-Programmable Gate Array)實現(xiàn)延遲線插入法進行高精度時間間隔測量[10],測時精度小于0.3 ns,測距精度為9.2 cm左右。

2)激光測距用于攝像機標(biāo)定。攝像機的參數(shù)可能會隨著溫度、濕度、氣壓等環(huán)境的變化而變化,所以需要對攝像機進行標(biāo)定。目前己經(jīng)有許多攝像機標(biāo)定的方法,如Tsai[11]提出的基于二維標(biāo)定參照物的標(biāo)定方法,該方法需要一套昂貴的精密標(biāo)定設(shè)備； Zhang[12]提出了基于二維平面模板的標(biāo)定方法,該標(biāo)定法需要從不同角度拍攝同一標(biāo)定模板2幅以上圖像。

由于糧倉內(nèi)環(huán)境的限制,以上方法不適用,故筆者提出用激光測距儀對攝像機進行標(biāo)定。

圖1 圖像坐標(biāo)系

實現(xiàn)時,把攝像機和激光測距儀分別安裝到兩個云臺上,調(diào)整云臺使攝像機和激光測距儀在合適初始位置,定標(biāo)過程中轉(zhuǎn)動載有測距儀的云臺,用攝像機獲取帶有激光光斑圖像并存儲在計算機中。

存儲在計算機中的數(shù)字圖像坐標(biāo)系可用像素坐標(biāo)(u,v)和物理坐標(biāo)(x,y)兩種方法表示(見圖1)。假定像素點大小為k×n(設(shè)單位為mm),像素坐標(biāo)原點為圖像的左下角,物理坐標(biāo)原點為圖像的中心,兩種坐標(biāo)表示方法的關(guān)系是

(1)

攝像機坐標(biāo)系(Xc,Yc,Zc)是以攝像機鏡頭的光心為原點,Xc軸和Yc軸與圖像坐標(biāo)系的x軸和y軸平行,并且Zc軸垂直于圖像平面的直角坐標(biāo)系。

世界坐標(biāo)系(Xw,Yw,Zw)是以安裝激光測距儀的云臺的轉(zhuǎn)動中心為世界坐標(biāo)系原點,Zw的方向為最初的激光測距儀的激光發(fā)射方向。攝像機坐標(biāo)系和世界坐標(biāo)系的關(guān)系是

(2)

其中R3×3=(rx,ry,rz)為旋轉(zhuǎn)矩陣,t3×1=(tx,ty,tz)T為平移矩陣。

控制載有激光測距儀的云臺的水平和垂直運動角度,可以測得不同的距離,利用這些距離,可計算激光測距儀光斑在世界坐標(biāo)系下的坐標(biāo)。光斑在圖像中的坐標(biāo)可運用平均背景法得到[13],為提高精度可用亞像素級坐標(biāo)進行計算。

在攝像機的標(biāo)定過程中,激光測距儀的光斑點P在圖像上的成像位置可用中心射影模型表示。光斑點P在攝像機坐標(biāo)系下坐標(biāo)為(Xc,Yc,Zc),在圖像上所成的像點p的物理坐標(biāo)為(x,y),根據(jù)比例關(guān)系有：x=fXc/Zc,y=fYc/Zc,f為焦距。用齊次坐標(biāo)表示為

(3)

綜上所述,可得到世界坐標(biāo)系下P點坐標(biāo)和其投影點p在圖像坐標(biāo)系下坐標(biāo)(u,v)之間的關(guān)系

(4)

即

(5)

其中ax=f/k,ay=f/n,M1包含攝像機的內(nèi)參數(shù),M2包含攝像機的外參數(shù),M稱為投影矩陣。如果解出矩陣M,即可分解出攝像機的所有內(nèi)外參數(shù)。

把式(5)寫成

(6)

其中(Xwi,Ywi,Zwi,1)為第i個空間點Pi的坐標(biāo),(ui,vi,1)為Pi對應(yīng)的圖像點的坐標(biāo)。

通過移動載有激光測距儀的云臺,可知n個空間點和圖像點的坐標(biāo)Pi和pi,把式(6)展開并消去Zc,得到2n個關(guān)于投影矩陣M元素的線性方程

Km=U

(7)

其中

由于矩陣M乘以任意不為零的常數(shù)不影響Pi和pi的關(guān)系,所以指定式中的m34=1,其中K,U為已知,利用最小二乘法解出m=(KTK)-1KTU,利用正交性即可從向量m中分解出攝像機的內(nèi)外參數(shù)。

3)三維重構(gòu)。用立體視覺的方法進行三維重構(gòu),通常需要兩幅或多幅二維圖像恢復(fù)物體的三維幾何形狀。筆者采用的方法是借助激光測距儀得到物體表面點的三維坐標(biāo)。

由攝像頭獲取帶有激光光斑的二維圖像。由于設(shè)定世界坐標(biāo)系的原點在載有激光測距儀云臺的軸心,Z軸方向為初始的激光測距儀發(fā)射激光的方向,XOY平面與Z軸垂直。所以初始狀態(tài)下,由激光測距儀測得的距離l,即為光斑點的Z軸坐標(biāo),光斑的X和Y軸坐標(biāo)值為0。當(dāng)載有測距儀的云臺轉(zhuǎn)動時,水平和垂直方向的轉(zhuǎn)動角度分別為α和β,利用公式

Yw=lsinβ,Xw=lcosβsinα,Zw=lcosβcosα

(8)

可計算光斑在世界坐標(biāo)系下的三維坐標(biāo)(XW,YW,ZW),二維圖像中的光斑采用平均背景法提取,然后計算光斑在圖像坐標(biāo)系下的坐標(biāo)(u,v)。

當(dāng)載有攝像機的云臺轉(zhuǎn)動時,在知道云臺水平轉(zhuǎn)動角度θ和垂直轉(zhuǎn)動角度φ的前提下,利用標(biāo)定時的初始攝像機外參數(shù)(不需要重新標(biāo)定攝像機的外參數(shù),只是其旋轉(zhuǎn)矩陣R發(fā)生改變,平移向量t沒有發(fā)生變化),就可計算攝像機旋轉(zhuǎn)后的旋轉(zhuǎn)矩陣(用θ和φ表示)。

當(dāng)攝像機繞Y軸做水平轉(zhuǎn)動的轉(zhuǎn)動角度為θ時,旋轉(zhuǎn)矩陣是Rry(θ)； 當(dāng)攝像機繞X軸做水平轉(zhuǎn)動的轉(zhuǎn)動角度為φ時,旋轉(zhuǎn)矩陣是Rrx(φ)； 攝像機不用繞Z軸旋轉(zhuǎn),所以其旋轉(zhuǎn)角度是0,旋轉(zhuǎn)矩陣是Rrz(0)?？偟男D(zhuǎn)矩陣Rr是Rry(θ),Rrx(φ)和Rrz(0)的乘積。

按照旋轉(zhuǎn)順序,Rr=RryRrxRrz。所以攝像機旋轉(zhuǎn)后的旋轉(zhuǎn)矩陣為RRr。

通過控制載有激光測距儀的云臺移動來控制激光光斑的位置,并根據(jù)需要加入輔助激光點,從而得到物體表面點的三維坐標(biāo)。

對于表面是平整的散裝倉,在攝像機標(biāo)定后,只要檢測出糧面上一點的三維坐標(biāo),即可得到糧面高度H。糧倉的形狀(圓形或矩形)是已知的,所以底面積S可求,則糧食數(shù)量為：ρSH(ρ為糧食密度)。對于表面凸凹不平的散裝倉或是露天糧堆,需要檢測出糧面上多點的三維坐標(biāo),然后進行曲線擬合、重積分得到其體積,再以體積乘以密度即可得到糧食數(shù)量。

5 結(jié) 語

基于圖象識別的袋裝倉和散裝倉糧食數(shù)量識別方法均未考慮攝像機標(biāo)定問題。由攝像頭獲取圖像,必須對攝像頭內(nèi)部和外部參數(shù)進行標(biāo)定,否則獲取的圖像與真實圖像有區(qū)別,甚至相差甚遠(yuǎn),影響識別效果。筆者提出的基于激光測距及三維重構(gòu)技術(shù)的散裝倉糧食數(shù)量識別方法,將激光技術(shù)用于攝像機標(biāo)定,由攝像頭獲取帶有激光光斑的二維圖像,以圖像中的激光光斑的位置為參考點,進行射影變換得到點的三維坐標(biāo),再由得到的有限點進行曲面擬合以得到場景的全局結(jié)構(gòu)。此種三維重構(gòu)法能克服單目視覺法因二維圖像缺少立體維度信息,而導(dǎo)致三維重建多義性的缺點。

國家儲備糧自動與遠(yuǎn)程監(jiān)管、稽核的關(guān)鍵技術(shù)是糧食數(shù)量的自動識別。一直以來由于技術(shù)的限制,國內(nèi)外沒有行之有效的措施與設(shè)備。隨著圖像處理和計算機技術(shù)的發(fā)展,基于機器視覺的糧食數(shù)量自動識別將成為儲備糧自動監(jiān)管和稽核的必然趨勢。

參考文獻：

[1]楊光焰.我國糧食宏觀調(diào)控面臨的七大矛盾[J].糧食問題研究,2005(1):7-9.

YANG Guang-yan.Seven Big Contradictions Facing in our Country Grain Macro-Control[J].Study on Grain Problem,2005(1):7-9.

[2]尤路,付永慶,王詠勝.USB攝像頭平行雙目視覺系統(tǒng)在面積測量中的應(yīng)用[J].應(yīng)用科技,2008,35(2):1-4,16.

YOU Lu,FU Yong-qing,WANG Yong-sheng.The Application of Parallel Binocular Vision System Using USB Cameras in Area Measurement[J].Application Science and Technology,2008,35(2):1-4,16.

[3]林鷹.儲備糧智能監(jiān)管與稽核系統(tǒng)關(guān)鍵技術(shù)研究[D].天津:天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院,2008.

LIN Ying.Research on the Key Technologies of Reserved Grain Intelligent Supervision and Audit System[D].Tianjin:College of Computer Science and Technology,Tianjin University,2008.

[4]唐毅,鄭麗敏,任發(fā)政,等.基于幾何特征的圖像感興趣區(qū)域的自動定位研究[J].計算機工程,2007,33(1):200-202.

TANG Yi,ZHENG Li-min,REN Fa-zheng,et al.Study on Automatic Location for Interested Region of Image Based on Geometrical Features[J].Computer Engineering,2007,33(1):200-202.

[5]鄧玉華,馮運義.基于Visual C++矩形標(biāo)尺智能識別[J].糧食儲藏技術(shù),2007,36(6):13-16.

DENG Yu-hua,FENG Yun-yi.Intelligent Identification of Rectangle Benchmark Based on Visual C++[J].Grain Storage Technique,2007,36(6):13-16.

[6]GONZALEZ R C,WOOD R E.Digital Image Processing[M].2nd ed.New York:Prentice Hall,2002:77-86.

[7]STEPHEN PRATA.C++ Primer Plus[M].4th ed.Beijing:Posts &Telecom Press,2002.

[8]袁修貴,龔正,孟正中.基于邊緣方向性的小波邊緣檢測算法[J].計算機科學(xué)與工程,2010,32(3):49-51.

YUAN Xiu-gui,GONG Zheng,MENG Zheng-zhong.A Wavelet Transform-Based Edge Detection Algorithm Based on Edge Direction[J].Computer Engineering &Science,2010,32(3):49-51.

[9]KITTLER J,HATEF M,DUIN R P W.On Combining Classifiers[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(3):226-239.

[10]胡春生.脈沖半導(dǎo)體激光器高速三維成像激光雷達(dá)研究[D].北京:國防科學(xué)技術(shù)大學(xué)光電科學(xué)工程學(xué)院,2005.

HU Chun-sheng.Study on High-Speed 3D-Imaging Ladar Using a Pulse Laser Diode[D].Beijing:School of Opto-Electronic Science and Engineering National Defense Science and Technology University,2005.

[11]TSAI R Y.An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision[C]∥Proc of IEEE Conference of Computer Vision and Pattern Recgonition.Miami Beach,FL:[s.n.],1986:364-374.

[12]ZAHNG Zheng-you.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13]GARY BRADSKI,ADRIAN KAEBLER.Learning Open CV (Computer Vision with the Open CV Library)[M].[S.l.]:O’Relly Media,Inc,2008:271-276.