吳振華（交通運(yùn)輸部水運(yùn)科學(xué)研究院，北京 100088）

雙目視覺技術(shù)在散貨堆場中的應(yīng)用研究

吳振華（交通運(yùn)輸部水運(yùn)科學(xué)研究院，北京 100088）

機(jī)器視覺技術(shù)在國民經(jīng)濟(jì)的各個(gè)領(lǐng)域得到廣泛的研究與應(yīng)用。為了解決散貨堆場信息獲取環(huán)節(jié)中存在的問題、提高自動(dòng)化水平，基于雙目視覺技術(shù)，對(duì)其在散貨堆場三維信息獲取中的應(yīng)用進(jìn)行了研究。

立體視覺；特征提??；三維重建

散貨堆場上，散貨具有堆放零散、形狀不規(guī)則的特點(diǎn)。為了獲取散貨的分布情況、重量等信息，采用人工測量方法耗費(fèi)人力較多且時(shí)間較長。研究與探討一種便捷、有效的散貨信息獲取方法是很有必要的。雙目視覺技術(shù)是一種非接觸、高效的三維測量技術(shù)。通過散貨三維信息，可直接獲知散貨分布情況；結(jié)合散貨密度等先驗(yàn)知識(shí)，可獲得散貨重量。自20世紀(jì)60年代誕生以來，立體視覺技術(shù)不斷完善、發(fā)展。目前該技術(shù)已成功應(yīng)用于國民經(jīng)濟(jì)的多個(gè)領(lǐng)域，尤其體現(xiàn)在智能交通領(lǐng)域，智能無人駕駛汽車已經(jīng)逐步走進(jìn)人們的生活。根據(jù)散貨堆場對(duì)信息獲取的需求，針對(duì)目前信息獲取方法存在的問題，基于立體視覺技術(shù)對(duì)散貨堆場信息獲取方法進(jìn)行探討。

1 立體視覺技術(shù)綜述

1.1 Marr視覺理論

20世紀(jì)60年代中期美國麻省理工學(xué)院的Robert把二維圖像分析推廣到三維景物分析，標(biāo)志著計(jì)算機(jī)立體視覺技術(shù)的誕生。70年代中期到80年代中期，Marr提出了第一個(gè)計(jì)算機(jī)視覺領(lǐng)域的理論框架[1]，極大地推動(dòng)了計(jì)算機(jī)視覺的發(fā)展，并最終形成了這一領(lǐng)域的主導(dǎo)思想。

Marr從視覺計(jì)算理論出發(fā)，將系統(tǒng)從輸入的二維圖像數(shù)據(jù)到輸出的3D描述信息分為了自上而下的三個(gè)階段。第一階段，構(gòu)建由二維圖像中的邊緣點(diǎn)、曲線、紋理等基本幾何元素組成的基元圖（Primary Sketch）。第二階段，在以觀察者為中心的坐標(biāo)系中，表達(dá)可見區(qū)域的方向、深度值和不連續(xù)輪廓等不完整的三維信息，又稱為對(duì)環(huán)境的2.5維描述。第三階段，由2.5維描述最終獲得場景中物體的三維描述，確定三維場景中物體的位置和姿態(tài)，如圖1所示。

1.2 雙目視覺測量原理

立體視覺技術(shù)可分為單目視覺技術(shù)、雙目視覺技術(shù)和多目視覺技術(shù)。單目視覺技術(shù)對(duì)三維信息的獲取總是依賴于一定的假設(shè)條件、先驗(yàn)知識(shí)等輔助信息，檢測結(jié)果直接依賴于假設(shè)和信息的準(zhǔn)確性。雙目、多目視覺系統(tǒng)技術(shù)根據(jù)視差原理測量，檢測結(jié)果不依賴于任何假設(shè)條件、先驗(yàn)知識(shí)等輔助信息的存在。綜合以上分析，本文采用雙目視覺技術(shù)。

圖1 Marr的視覺理論框架

雙目立體視覺基于視差原理進(jìn)行三維測量，以簡單的平視雙目立體視覺系統(tǒng)為例說明測量原理，如圖2所示。

圖2 雙目立體視覺測量原理

其中左右攝像機(jī)光心分別為Ol、Or，兩攝像機(jī)光心間距（基線距）為b。在以左攝像機(jī)光心為原點(diǎn)的世界坐標(biāo)系中，世界坐標(biāo)系中一點(diǎn)P坐標(biāo)為 P( xw,yw,zw)， Pl( xl, yl,)、 Pr( xr,yr,)分別是其在左右攝像機(jī)中對(duì)應(yīng)的像點(diǎn)，其中圖像坐標(biāo)系原點(diǎn)為各自成像平面的中心點(diǎn)。理想情況下，兩攝像機(jī)均無畸變且參數(shù)完全相同，由三角幾何關(guān)系，可得式（1）。

2 立體視覺技術(shù)在堆場中的應(yīng)用探討

采用立體視覺技術(shù)獲取散貨堆場上散貨的三維信息，包括堆場上散貨的平面相對(duì)坐標(biāo)、高度、面積和體積。主要分為三個(gè)步驟：圖像預(yù)處理、特征提取與匹配、三維重建。

2.1 圖像預(yù)處理

獲取彩色圖像后，需對(duì)其進(jìn)行圖像預(yù)處理。圖像預(yù)處理主要包括圖像灰度化和圖像濾波。彩色RGB圖像轉(zhuǎn)換到灰度圖像，有多種模型：YUV、YIQ等。其中YUV模型用于PAL制式的電視系統(tǒng)，YIQ模型用于NTSC制式的電視系統(tǒng)。兩種模型中Y均代表亮度，且轉(zhuǎn)換公式是一樣的，如式（3）。

實(shí)際采集的道路圖像中存在大量噪聲干擾，圖像灰度化以后需要對(duì)圖像進(jìn)行濾波。主要的濾波算法有：中值濾波、均值濾波、高斯濾波、小波濾波算法等。在濾波環(huán)節(jié)需考慮兩方面因素：一是要去除噪聲干擾；二是要盡量保持圖像的原有信息。工程中一般采用能夠有效抑制噪聲、保持原圖像有效信息且實(shí)時(shí)性好的中值濾波方法。

2.2 特征提取與特征匹配

為了獲取測距所需的視差信息，應(yīng)先進(jìn)行特征匹配，特征匹配前需進(jìn)行特征提取。圖像中的特征是由于景物的物理、幾何特性使圖像中局部區(qū)域的灰度產(chǎn)生明顯變化而形成的。一般特征分成三類：區(qū)域特征、邊界特征和角點(diǎn)特征。其中角點(diǎn)特征具有旋轉(zhuǎn)不變性和不隨光照變化而改變的優(yōu)點(diǎn)，具有直觀性和高可靠性的優(yōu)點(diǎn)。目前已有的點(diǎn)特征提取算子，大致分為兩種方法：一種是基于模板的方法，另一種是基于幾何特征的提取方法[2]。

SUSAN算子是一種基于幾何特征的，直接對(duì)圖像灰度信息進(jìn)行處理的類積分特征提取算法。該算法利用圓形模板對(duì)角點(diǎn)待提取區(qū)域進(jìn)行掃描，并對(duì)模板中心點(diǎn)和非中心點(diǎn)灰度值進(jìn)行比較、運(yùn)算，所得結(jié)果與閾值比較后，判斷此中心點(diǎn)是否為特征點(diǎn)[3]。SUSAN特征提取算法有抗噪性強(qiáng)和處理速度快的優(yōu)點(diǎn)。采用SUSAN算子可有效提取出堆場上散貨的角點(diǎn)信息，以左攝像機(jī)所攝取的左圖像為例，如圖3所示。

圖3 散貨堆場特征提取效果示意圖

下一步是特征匹配，進(jìn)行特征匹配的目的是建立左右圖像中特征點(diǎn)的一一對(duì)應(yīng)關(guān)系，進(jìn)而求得視差信息，最終結(jié)合攝像機(jī)標(biāo)定結(jié)果最終獲取三維信息。匹配的過程總是依賴于一定的相似測度函數(shù)，通過對(duì)多種相似性測度函數(shù)的分析比較，采用實(shí)時(shí)性好的最小絕對(duì)差算法SAD (Sum of Absolute Differences)相似測度函數(shù)，如式（4）。

CSAD值越小，則相似度越大，匹配過程中為了降低對(duì)應(yīng)點(diǎn)匹配的復(fù)雜程度，提高匹配正確率，應(yīng)結(jié)合一定約束條件。這些約束條件有：外極線約束、唯一性約束、連續(xù)性約束、視差有限約束、順序一致性約束、光度匹配約束、幾何相似約束等。特征匹配后可建立左右圖像中特征角點(diǎn)的一一對(duì)應(yīng)關(guān)系，散貨堆場角點(diǎn)特征匹配效果示意圖，如圖4所示。

2.3 三維重建

攝像頭成像過程總是有一定的畸變，三維重建前需對(duì)攝像機(jī)進(jìn)行標(biāo)定以獲取攝像機(jī)參數(shù)。攝像機(jī)參數(shù)分為表征攝像機(jī)內(nèi)部幾何學(xué)和光學(xué)特征的內(nèi)部參數(shù)和表征攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的位置和方向的外部參數(shù)。雙目視覺系統(tǒng)中攝像機(jī)外部參數(shù)包括：左右攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣。攝像機(jī)的內(nèi)部參數(shù)主要包括：鏡頭畸變系數(shù)和焦距。

攝像機(jī)標(biāo)定后，最后結(jié)合標(biāo)定[4～5]結(jié)果對(duì)堆場進(jìn)行三維重建，以最終獲取堆場的相對(duì)平面坐標(biāo)、高度信息。經(jīng)由空間幾何計(jì)算，可獲取堆場上散貨的體積，結(jié)合密度可獲取堆場上堆積散貨的重量。最終這些信息可傳送到管理信息系統(tǒng)，以實(shí)時(shí)監(jiān)測、記錄堆場內(nèi)散貨的相關(guān)信息。

3 結(jié)語

立體視覺技術(shù)是一種非接觸、高效的三維測量技術(shù)。自誕生以來，立體視覺技術(shù)不斷完善、發(fā)展，已成功應(yīng)用于國民經(jīng)濟(jì)的多個(gè)領(lǐng)域。本文針對(duì)目前散貨堆場信息獲取方法存在的問題，基于立體視覺技術(shù)對(duì)散貨堆場信息獲取方法進(jìn)行了探討，以期為后續(xù)研究提供一定的參考。隨著更多的研發(fā)力量轉(zhuǎn)到該領(lǐng)域的研究、設(shè)計(jì)與實(shí)現(xiàn)、市場推廣等方面，有理由相信立體視覺技術(shù)將在散貨堆場信息獲取中廣泛應(yīng)用。

[1] Marr D. Vision: A computational investigation into the human representation and processing of visual information[M]. San Francisco: W.H.Freeman and Company, 1982.

[2] 官云蘭, 張紅軍. 點(diǎn)特征提取算法探討[J]. 華東理工學(xué)院學(xué)報(bào), 2007, 30(1): 42 - 46.

[3] 劉博, 仲思東. 一種基于自適應(yīng)閾值的SUSAN角點(diǎn)提取方法[J]. 紅外技術(shù), 2006, 28(6): 331 - 333.

[4] 賀俊吉, 張廣軍, 楊憲銘. 基于交比不變性的鏡頭畸變參數(shù)標(biāo)定方法[J].儀器儀表學(xué)報(bào), 2004, 25(5): 597 - 599.

[5] 鄭榜貴, 田炳香, 段建民. 基于交比不變量的攝像機(jī)標(biāo)定方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2008, 34(5): 476 - 480.

News[ 新聞 ]

“華龍一號(hào)”首堆示范工程開工 核電項(xiàng)目迎密集核準(zhǔn)期

2015年5月7日，我國自主三代核電技術(shù)“華龍一號(hào)”首堆示范工程——中核集團(tuán)福清5號(hào)機(jī)組正式開工建設(shè)，預(yù)計(jì)于2020年7月實(shí)現(xiàn)商業(yè)化運(yùn)營。該技術(shù)的另一個(gè)示范項(xiàng)目防城港二期項(xiàng)目也計(jì)劃在今年7月底開工建設(shè)。

業(yè)內(nèi)人士認(rèn)為，2015年是核電重啟的關(guān)鍵之年，目前多個(gè)核電項(xiàng)目已做好開工準(zhǔn)備，我國核電將迎來密集核準(zhǔn)開工期，利好核電設(shè)備及核電材料供應(yīng)商。

2015年3月29日，紅沿河核電廠二期項(xiàng)目（5號(hào)機(jī)組）開工建設(shè)，這是日本福島核事故4年來我國首個(gè)新核準(zhǔn)核電項(xiàng)目開工，標(biāo)志著我國核電規(guī)?；ㄔO(shè)正式重啟。

據(jù)中國核能行業(yè)協(xié)會(huì)理事長張華祝介紹，目前我國在建核電機(jī)組26臺(tái)，裝機(jī)容量2850萬千瓦，在建規(guī)模繼續(xù)保持世界第一。按照國務(wù)院《核電發(fā)展中長期規(guī)劃》，至2020年中國核電裝機(jī)將達(dá)到5800萬千瓦，在建3000萬千瓦。預(yù)計(jì)年內(nèi)將有6～8臺(tái)機(jī)組開工建設(shè)，有8臺(tái)核電機(jī)組投入商業(yè)運(yùn)行，成為投入商業(yè)運(yùn)行核電機(jī)組最多的一年。

目前，各大核電集團(tuán)已做好項(xiàng)目核準(zhǔn)或開工準(zhǔn)備。中廣核集團(tuán)“華龍一號(hào)”總設(shè)計(jì)師咸春宇介紹，作為“華龍一號(hào)”示范項(xiàng)目之一，防城港二期項(xiàng)目3、4號(hào)機(jī)組設(shè)計(jì)文件、設(shè)備采購及供貨、現(xiàn)場施工準(zhǔn)備、項(xiàng)目核準(zhǔn)與執(zhí)照申請(qǐng)等各方面工作按計(jì)劃穩(wěn)步推進(jìn)，計(jì)劃今年7月底開工建設(shè)。

與此同時(shí)，山東石島灣已成為華能開發(fā)建設(shè)的第一個(gè)核電基地，高溫氣冷堆核電站示范工程將在今年6月實(shí)現(xiàn)從土建向安裝移交。中國華能集團(tuán)核電事業(yè)部主任王永福透露，華能與國家核電技術(shù)有限公司共同投資2臺(tái)CAP1400機(jī)組，并規(guī)劃了后續(xù)4臺(tái)百萬千瓦級(jí)核電機(jī)組擴(kuò)建工程，有望近期獲批開工建設(shè)。

有專家認(rèn)為，2015年開始全行業(yè)進(jìn)入為期6年的開工與投產(chǎn)雙高峰，而且核電發(fā)展出現(xiàn)代際更迭，設(shè)備商產(chǎn)業(yè)格局將出現(xiàn)重構(gòu)。

Application of Binocular Vision Technology in Bulk Cargo Yard

The technology of machine vision has been extensively studied and applied in various fields of the national economy. In order to solve the existing problem in bulk yard information acquisition and improve the automation level, application in bulk cargo yard 3D information acquisition is studied based on the binocular vision technology.

Stereo vision; Feature extraction; 3D reconstruction

B

1003-0492(2015)05-0112-03

TP391

吳振華（1982-），男，河北保定人，工程師，碩士，現(xiàn)就職于交通運(yùn)輸部水運(yùn)科學(xué)研究院，主要從事港口自動(dòng)化、智能交通方面的研究。