樊景超++丘耘++周國民

doi：10.15889/j.issn.1002-1302.2016.10.110

摘要：圍繞蘋果樹每10°～20°采集1幅圖像形成蘋果樹的序列圖像。首先匹配圖像特征點構(gòu)建稀疏點云，再利用多視點視覺技術(shù)（patch-based multi-view stereo，簡稱PMVS）構(gòu)建果樹的稠密點云。對蘋果樹不同物候期的三維點云獲取結(jié)果表明，葉片的方向各異性以及稠密度對蘋果樹的重建效果有重要影響，可為植物建模、虛擬修剪試驗和植物拓?fù)浣Y(jié)構(gòu)分析等提供參考。

關(guān)鍵詞：序列圖像；蘋果樹；模型；三維點云

中圖分類號： S126文獻標(biāo)志碼： A文章編號：1002-1302（2016）10-0375-04

收稿日期：2015-08-20

基金項目：國家“863”計劃（編號：2013AA102405）；中國農(nóng)業(yè)科學(xué)院創(chuàng)新工程（編號：CAAS-ASTIP-2015-AII-03）。

作者簡介：樊景超（1980—），男，遼寧沈陽人，博士，助理研究員，從事農(nóng)業(yè)信息技術(shù)的科研工作。E-mail：fanjingchao@caas.cn。

通信作者：周國民，博士，研究員，博士生導(dǎo)師，從事農(nóng)業(yè)信息技術(shù)的科研工作。E-mail：zhouguomin@caas.cn。我國是水果大國，總產(chǎn)量居世界首位[1]。但是，我國出口水果情況不容樂觀，主要存在3個方面的問題[2-4]：（1）占比低，我國水果出口量僅占世界總出口量的3%，遠低于其他主要水果生產(chǎn)國10%的比例；（2）結(jié)構(gòu)單一，我國水果出口品種，主要集中在蘋果、梨、柑橘以及其他堅果；（3）價格低，我國出口水果價格僅為國際市場平均價格的一半。導(dǎo)致果農(nóng)增產(chǎn)不增收的本質(zhì)原因是果業(yè)生產(chǎn)管理過程中的重栽輕管、廣種薄收、重數(shù)量輕質(zhì)量，優(yōu)質(zhì)果只占總量的30%[5]。如何提高我國水果的產(chǎn)量與品質(zhì)已成為我國水果產(chǎn)業(yè)中亟待解決的核心問題。隨著現(xiàn)代信息技術(shù)的快速發(fā)展，信息技術(shù)用于果園管理已取得了較大的進展，并呈現(xiàn)出數(shù)字化、智能化、機械化、集成化的發(fā)展趨勢[6]。果樹的樹體結(jié)構(gòu)對樹木的生長和產(chǎn)量具有重要的影響，如枝條數(shù)量、枝條長度和枝條空間分布[7]。這些因素影響樹體光截獲，進而影響果樹產(chǎn)量和果實質(zhì)量。在果樹栽培和生產(chǎn)實踐中，通過對果樹冠層三維結(jié)構(gòu)的研究，可為合理的果樹整形提供量化依據(jù)[8]。

與株型簡單的小麥、玉米等一年生作物不同，蘋果果樹生長期較長、形態(tài)（葉型、枝型、株型）時空變異性強、植株形體高大，使得此方面的研究進展相對較為緩慢[9]。三維點云模型具有豐富的信息表現(xiàn)力，不但包含植物器官的三維坐標(biāo)信息，還可以包含RGB顏色以及法線等信息。三維激光掃描設(shè)備精度高，能夠完整地重構(gòu)模型，但是這些設(shè)備在果園等野外條件下不便使用，而且價格昂貴。這些都使得該項技術(shù)的應(yīng)用范圍受到限制。基于序列圖像的三維重建方法近年來日趨成熟，獲得三維點云模型精度逐步提高。該方法只需要使用普通攝像機即可，相對成本低，具有很廣闊的研究前景。本研究嘗試使用該方法獲取蘋果樹在不同物候期的三維點云模型。

1材料與方法

本研究選用的果樹來自北京市順義區(qū)雙河果園，該園位于京郊順義城區(qū)（40° 8′N、116° 43′E），海拔32 m，占地面積66.7 hm2，屬大陸性季風(fēng)氣候區(qū)，年均溫度11.3 ℃，冬季平均氣溫-1.7 ℃，年均降水量620 mm左右，冬季平均相對濕度為45%，冬季日照時間為517 h[10]。所選蘋果樹枝條空間分布均勻，葉片沒有明顯遮擋。所選果樹與相鄰果樹無枝條鄰接現(xiàn)象，且行距與間距滿足相機拍攝要求，以單幅照片能包含整株果樹的樹冠為準(zhǔn)。

本研究使用的數(shù)碼相機型號為Canon EOS 700D（18～55 mm），拍攝時的鏡頭焦距固定為5 mm，采用自動曝光模式，圖像分辨率 5 284×3 456像素。從4月初開始每周選取無風(fēng)或微風(fēng)天氣，以果樹為中心，圍繞果樹每轉(zhuǎn)10°～20°拍1張，確保形成連續(xù)的果樹圖像序列?？紤]到果樹枝條在空間方向各異，圍繞果樹在不同高度進行多次拍攝更好。圖1-a為本試驗在果園中選取的處于萌芽期的蘋果樹，圖1-b是使用本方法采集的蘋果樹多幅序列圖像。基于序列圖像進行三維點云重建的核心是匹配圖片之間的特征點，因此在拍攝照片時盡量保證同一枝條能從2個以上的角度進行拍攝。

2三維點云模型的獲取

基于序列圖像提取物體的三維坐標(biāo)，核心思想是根據(jù)圖像中點位置信息，恢復(fù)出點在三維場景中的三維坐標(biāo)。果樹三維點云獲取有2個基本階段：第1階段從所有圖像上提取特征點，通過特征點匹配、重建，得到種子點形成稀疏點云；第2階段將種子點向周圍擴散得到稠密的空間點云[11]。完成上述步驟后經(jīng)過簡單的背景切除得到果樹自身的三維點云。

2.1構(gòu)建稀疏點云

構(gòu)建稀疏點云的難點在于從無序圖像中查找匹配點，但是如果對每個像素點都在其他無序圖像中進行匹配查找，計算量會非常大，同時圖像中會包含很多噪聲點，對于匹配點的查找會起到干擾作用。通過檢測多幅未標(biāo)定圖像中的特征點集合和匹配信息，利用不同圖像之間幾何初始化投影來映射結(jié)構(gòu)，再利用自標(biāo)定方法免去相機的自我標(biāo)定過程。其結(jié)合尺度不變特征轉(zhuǎn)換[12-14]（scale invariant feature transform，簡稱SIFT）算法檢測到特征點集和匹配信息，并利用由Lourakis等研究的稀疏捆集調(diào)整（sparse bundle adjustment，簡稱SBA）開發(fā)包[15]進行優(yōu)化處理以獲取更為精確的三維點云數(shù)據(jù)。但是SBA算法仍存在運行效率上的不足，因此本研究參照Wu等提出基于多核中央處理器（central processing unit，簡稱CPU）、圖形處理器（graphics prccessing unit，簡稱GPU）改進的并行捆集調(diào)整（parallel bundle adjustment，簡稱PBA）算法[16]提高運行的速度。

圖2顯示的是使用多幅果樹圖像重建的三維稀疏點云模型，同時根據(jù)計算得到的相機參數(shù)以及場景的相關(guān)信息將序列圖像顯示出來。

2.2重構(gòu)稠密點云

將之前獲得的果樹稀疏點云數(shù)據(jù)及相機參數(shù)，輸入至Furukawa等開發(fā)的基于多視點視覺技術(shù)（patch-based multi-view stereo，簡稱PMVS）的三維重建算法[17-20]，通過重復(fù)面片擴展和誤差濾波步驟，獲取果樹三維秘密點云。PMVS的目標(biāo)是得到場景中物體表面的描述，并使得此描述信息盡量豐富。使用SIFT算法檢測出的特征點，通過歸一化互相關(guān)函數(shù)確定匹配點對，得到重建對象的稀疏點云，可以大概地描述出它的輪廓，但是重建對象的表面信息并不能很好地被描述。因此需要對圖像中的信息實現(xiàn)最大化描述，將稀疏點云通過擴展和過濾進一步擴展為稠密點云，使得描述的重建對象表面信息更完整。PMVS使用的是面片擴展原理，該原理利用光度一致性原理將1組稀疏匹配點擴展至周圍像素以獲取稀疏點周圍稠密點云，而誤差濾波步驟則是利用全局可見性約束原理去除錯誤的匹配[11]。

PMVS生成ply格式文件用于存儲稠密點云數(shù)據(jù)，本試驗使用點云庫（point clouds library，簡稱PCL）將系統(tǒng)生成的三維稠密點云進行可視化顯示（圖3），使用本研究方法不但得到了完整的果樹的三維點云數(shù)據(jù)， 同時在序列圖像中匹配點最多的地面也生成了稠密點云。

2.3點云去噪

從圖3可以看出，除了果樹自身的三維形態(tài)點云外，還包含要面臨的2個方面的噪聲數(shù)據(jù)：一是地面噪聲，使用相機圍繞果樹進行拍照過程不可避免地要帶入果樹所在的地面點云信息，而這部分信息與物體完全無關(guān)，從而增大了點云的數(shù)據(jù)量；二是相鄰果樹枝條的干擾，理想情況下應(yīng)該選取1株單獨的果樹作為研究對象，但本研究所選取的試驗對象均在野外的果園中，在實際環(huán)境中很難做到這一點，因此這部分的點云數(shù)據(jù)也作為噪聲數(shù)據(jù)必須進行去除。

從圖3中不難看出，同一物體的點云聚集在一起，不同物體的點云在三維空間上存在一定的空間距離，因此非常適合使用直通濾波器進行噪聲去除。直通濾波器是根據(jù)用戶指定的單一維度實行濾波，即去掉在用戶指定范圍內(nèi)部或外部的點。使用直通濾波器之前首先使用點云庫（point clouds library，簡稱PCL）的k-d tree API獲取場景點云在三維坐標(biāo)上的最大、最小值。通過直通濾波器采取逐步逼近的辦法過濾場景點云數(shù)據(jù)并進行可視化顯示，通過人的主觀經(jīng)驗判斷確定最佳點云提取值。圖4是使用該方法后得到的完整果樹點云模型，可見模型完整保留了自身的三維坐標(biāo)和RGB顏色信息，證明去噪方法的有效性。

3物候期蘋果樹點云模型

在對蘋果樹枝干進行三維形態(tài)模型獲取后，為了進一步驗證本方法的有效性，在果園內(nèi)選擇開花、展葉、結(jié)果等不同物候期的蘋果樹進行三維點云獲取，以驗證本方法的有效性和適用范圍。在果園選擇樹高和冠層直徑相近并符合拍照條件的4株果樹進行三維點云獲取的試驗，由此形成的對比結(jié)果見圖5至圖8。從點云圖中不難看出，果樹葉片的遮擋對于點云模型有著決定性的影響，造成了點云模型的部分丟失。

4結(jié)論與討論

使用序列圖獲取蘋果樹的三維點云數(shù)據(jù)，操作時間短，不需要專用的激光掃描設(shè)備，大大降低了果樹三維點云模型的研究門檻。從本試驗結(jié)果看，該方法適用于枝干明顯的果樹，對于樹葉遮擋比較嚴(yán)重的果樹，尚無法建立其完整的點云模型，需要在以后的研究中進一步探討。

參考文獻：

[1]霍尚一. 中國水果出口貿(mào)易影響因素的實證分析[D]. 杭州：浙

江大學(xué)，2008.

[2]張磊. 中國水果出口影響因素及競爭力的研究[D]. 無錫：江南大學(xué)，2013.

[3]伍小梅. 深加工視角下我國水果業(yè)的出口競爭力研究[D]. 長沙：湖南大學(xué)，2006.

[4]樓軍文. 中國水果進出口檢驗檢疫技術(shù)性貿(mào)易措施研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2005.

[5]林如泉. 水果出口跨越技術(shù)性貿(mào)易壁壘的對策研究[D]. 武漢：華中農(nóng)業(yè)大學(xué)，2007.

[6]周國民. 數(shù)字果園研究現(xiàn)狀與應(yīng)用前景展望[J]. 農(nóng)業(yè)展望，2015，11（5）：61-63，81.

[7]章蘭芬. 蘋果樹體結(jié)構(gòu)原位數(shù)字化及分形特征研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2012.

[8]馬曉丹. 蘋果樹冠層光照分布計算方法研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2015.

[9]李春友. 農(nóng)林復(fù)合系統(tǒng)中核桃冠層結(jié)構(gòu)動態(tài)模擬研究[D]. 北京：中國林業(yè)科學(xué)研究院，2012.

[10]俞立恒，毛培春，孟林，等. 京郊果園種植幾種優(yōu)質(zhì)果園草覆蓋越冬技術(shù)研究[J]. 草業(yè)科學(xué)，2009，26（6）：166-171.

[11]楊捷. 異構(gòu)環(huán)境下點云重建的并行化研究[D]. 銀川：寧夏大學(xué)，2014.

[12]Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision. Washingtom，USA：IEEE Computer Society，1999：1150-1157.

[13]Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[14]Lowe，G D. Local feature view clustering for 3D object recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. Kauai，Hawaii，USA：IEEE，2001：682-688.

[15]Lourakis M，Argyros A. The design and implementation of a generic sparse bundle adjustment software package based on the Levenberg-Marquardt algorithm[R]. Technical Report No. 340，Institute of Computer Science，F(xiàn)ORTH，Heraklion，Crete，Greece，2014.

[16]Wu C，Agarwal S，Curless B，et al. Multicore bundle adjustment[C]. IEEE Conference on Computer Vision and Pattern Recognition. Cdorado，USA：IEEE，2011，30：57-3064.

[17]Furukawa Y，Ponce J. Accurate，dense，and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（8）：1362-1376.

[18]Furukawa Y，Curless B，Seitz S M，et al. Manhattan-world Stereo[C]. CVPR：2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，USA：IEEE，2009：1422-1429.

[19]Furukawa Y，Ponce J. Carved visual hulls for image-based modeling[J]. International Journal of Computer Vision，2009，81（1）：53-67.

[20]Furukawa Y，Cxirless B，Seitz S M，et al. Towards internet-scale multi-view stereo[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Francisco，USA：IEEE，2010：1434-1441.