馮青春 王 秀 李軍輝 李小明 成 偉 陳 建

(1.中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097；3.農(nóng)業(yè)智能裝備技術(shù)北京市重點實驗室， 北京 100097； 4.北京農(nóng)業(yè)職業(yè)學(xué)院， 北京 102208)

0 引言

我國番茄的生產(chǎn)和消費規(guī)模均居世界前列[1-2]。隨著農(nóng)業(yè)勞動力的流失和人力成本的上漲，番茄種植管理的雇工費用逐年上漲，目前已達到總生產(chǎn)成本的30%以上[3]。種植管理過程中整枝、授粉、采摘、轉(zhuǎn)運以及噴藥等環(huán)節(jié)消耗整個生產(chǎn)周期人力投入的70%以上[4]，因此，亟需研發(fā)能夠替代或輔助人工作業(yè)的智能化作業(yè)機械[5-6]。作業(yè)對象的視覺信息獲取是支撐智能化生產(chǎn)作業(yè)的核心技術(shù)之一[7-10]。視覺信息是作業(yè)區(qū)域光照條件與作業(yè)對象反射特性綜合作用的感觀體現(xiàn)。然而，在農(nóng)業(yè)環(huán)境下，自然光照波動和復(fù)雜背景干擾是影響視覺信息穩(wěn)定成像的關(guān)鍵因素，表現(xiàn)為光照時空動態(tài)變化、視場多元目標輻射特性各異。

目前，針對開放自然環(huán)境下圖像色彩信息的補償矯正方法主要涉及圖像采集硬件控制和圖像數(shù)據(jù)處理兩方面。YUAN等[11]提出了基于色彩恒常特性的太陽光照波動補償方法,通過動態(tài)調(diào)整攝像機曝光增益和白平衡參數(shù),保證黃瓜花瓣圖像色彩的穩(wěn)定呈現(xiàn)。FU等[12]通過設(shè)置前景LED補光光源(30～50lx)的方式，凸顯重疊目標輪廓界限，減少背景干擾，從而解決了夜間獼猴桃視覺識別問題。MANISH等[13]通過實時解析目標圖像色彩品質(zhì)、動態(tài)調(diào)節(jié)補光光源控制參數(shù)，實現(xiàn)了低能耗高效曝光補償。FENG等[14]通過RGB-HIS色彩空間變換，基于色調(diào)(H)和飽和度(S)分量閾值對成熟草莓進行分割，克服了光照強度變化引起的圖像亮度波動干擾。熊俊濤等[15]提出基于Retinex圖像增強算法的荔枝果實圖像預(yù)處理方法，克服了自然光照條件下攝像機視場亮度不均勻的問題。KURTULMUS等[16]根據(jù)自然光照下綠桃果實逆光和順光圖像色彩，建立了綠桃果實識別神經(jīng)網(wǎng)絡(luò)模型，克服了不同光照條件下目標色彩變異失真的問題。蔡道清等[17]采用小波變換算法提取農(nóng)田圖像光照不變特征，分離圖像中的光照與反射成分，實現(xiàn)不同光照強度下的農(nóng)田導(dǎo)航線提取。以上研究主要針對特定目標的圖像色彩進行補償矯正，無法精確解析攝像機視場內(nèi)不同目標的輻射強度特征，對于大視場、多目標和背景復(fù)雜的溫室番茄植株圖像采集缺乏適用性。

針對溫室內(nèi)光照條件時空波動、復(fù)雜背景輻射亮度突變引起圖像色彩失真的問題，本文采用高動態(tài)范圍成像技術(shù)，通過融合不同曝光度的圖像信息恢復(fù)視場內(nèi)不同目標的相對輻射強度，從而對圖像色彩失真進行補償矯正，進而實現(xiàn)復(fù)雜背景目標色彩的恒常呈現(xiàn)，以期為農(nóng)業(yè)開放環(huán)境下作業(yè)對象視覺信息獲取的相關(guān)研究提供參考。

1 溫室光照環(huán)境特征分析

1.1 光照參數(shù)時空波動

受日間太陽光照方向和強度變化影響，半開放溫室空間內(nèi)光照參數(shù)呈現(xiàn)時空動態(tài)變化。如圖1所示，為北京地區(qū)秋季(9月)連棟日光溫室內(nèi)07:00—18:00時段光照信息統(tǒng)計，其中光照強度變化范圍為800～60 000 lx，且在13:00—14:00時段達到峰值。由于日光溫室透光材料具有適度濾光效果，CIEx、y色度值[18]主要分布在0.30～0.35范圍內(nèi)的白色區(qū)間，即溫室內(nèi)光照色度變化幅度有限?？梢姕厥覂?nèi)光照強度變化是導(dǎo)致目標圖像色彩變異的主要因素，準確解析攝像機視場內(nèi)不同區(qū)域的動態(tài)輻射強度信息，是對環(huán)境光照波動進行補償矯正的前提。

圖1 溫室光照參數(shù)波動統(tǒng)計結(jié)果Fig.1 Illumination parameters variation statistics in greenhouse

1.2 復(fù)雜背景輻射強度的突變

溫室復(fù)雜背景下不同目標的輻射特性各不相同，其中近端番茄植株與遠端溫室頂棚和墻壁輻射亮度差異巨大。此外，由溫室頂部鋼結(jié)構(gòu)投射的陰影區(qū)域與太陽直射區(qū)域之間也存在亮度突變。然而攝像機成像芯片呈現(xiàn)視場內(nèi)輻射波動的范圍是有限的，在特定曝光強度下會形成圖像區(qū)域過度曝光和曝光不足，從而導(dǎo)致目標色彩信息失真。圖2為不同曝光強度下采集的兩幅圖像。圖2a中，頂棚天空和墻壁色彩正常，番茄植株區(qū)域呈現(xiàn)曝光不足；圖2b中，番茄植株色彩正常，頂棚和墻壁區(qū)域呈現(xiàn)過度曝光。因此，單一全局曝光控制容易導(dǎo)致前景與背景物體圖像色彩失真，是攝像機獲取溫室番茄植株圖像面臨的客觀限制。鑒于此，融合多曝光度圖像信息以恢復(fù)視場不同區(qū)域輻射強度，是矯正圖像區(qū)域曝光失真的有效途徑。

2 基于多曝光圖像的輻射響應(yīng)模型標定

2.1 彩色圖像亮度信息提取

鑒于溫室光照波動主要體現(xiàn)為光照強度變化，因此本文重點針對圖像色彩亮度進行矯正，以達到對目標真實色彩進行重構(gòu)的目的。CIE XYZ色彩模型是根據(jù)人眼感知可見光源色彩原理設(shè)計的三原色系統(tǒng)，所有可見顏色都能用三色值(X,Y,Z)表示。數(shù)字圖像采集和顯示色彩描述基于ITU709標準[18]，圖像RGB顏色信息與CIE XYZ色彩模型轉(zhuǎn)換公式為

(1)

式中X、Z——CIE XYZ圖像色度分量

Y——CIE XYZ圖像亮度分量

R、G、B——數(shù)字圖像色彩分量

由于數(shù)字圖像RGB分量灰度是經(jīng)過γ矯正的色彩值[19]，為使得Y更加準確反映圖像亮度，需要對其進行γ逆變換修正。

Y′=Yγ

(2)

式中Y′——圖像實際成像亮度

γ——矯正系數(shù)，取通用值2.20

由圖2得到的亮度圖如圖3所示。

圖3 Y分量亮度圖Fig.3 Y brightness image

2.2 攝像機輻射響應(yīng)模型構(gòu)建

攝像機輻射響應(yīng)模型用于表示圖像亮度與相機感光芯片接收目標輻射能量總和的對應(yīng)關(guān)系。攝像機輻射響應(yīng)模型標定，是基于圖像數(shù)據(jù)恢復(fù)視場輻射強度信息的必要前提。假設(shè)對同一場景連續(xù)采集P幅不同曝光度的圖像，對每幅圖像提取相同坐標的N個像素點。為計算方便，將攝像機輻射響應(yīng)函數(shù)[20]表示為其逆函數(shù)對數(shù)形式。

g(Y′ij)=lnEi+lntj

(3)

式中i——像素點序號

g——攝像機輻射響應(yīng)逆函數(shù)

j——圖像序號

Y′ij——圖像j中像素點i的亮度，取值范圍為0～255

Ei——像素點i對應(yīng)視場目標點的輻射強度

tj——圖像j的曝光時間

根據(jù)DEBEVEC標定算法[20]，基于序列曝光時間tj的圖像像素亮度Y′ij擬合輻射響應(yīng)函數(shù)(Y′)的最小二乘代價函數(shù)ο表示為

(4)

其中

式中λ——正則化系數(shù)

ω——權(quán)值函數(shù)

g″——平滑正則項函數(shù)

Y′——圖像像素灰度，范圍為0～255

將代價函數(shù)分別對未知量lnEi和g(Y′)求偏導(dǎo)，且令其一次偏導(dǎo)為零，整理得到

(5)

式(5)可整理為矩陣方程，其中系數(shù)矩陣M可分為A、B、C、O4個矩陣塊。

(6)

其中

bT=

式中A——N×P行、256列矩陣，每行僅一個非零元素ω(Y′ij) ，該元素列序號為Y′ij

B——N×P行、N列矩陣，每行僅一個非零元素-ω(Y′ij) ，該元素列序號為i

O——零矩陣

x——256+N維列向量

b——N×P+254維列向量

2.3 輻射模型標定

式(6)共有N×P個非齊次線性方程，256+N個未知變量分別為g(Y′)和Ei。為了保證方程組有解，需滿足N×P≥256+N。因此本文以同一場景下4幅不同曝光度圖像(分辨率640像素×480像素)中的100個像素點為采樣點，構(gòu)建超定線性方程組，采用奇異值分解方法[21]求解系數(shù)矩陣M的廣義逆矩陣為

M?=VΣ?UH

(7)

式中M?——M的廣義逆矩陣

V、U——M的奇異矩陣

UH——U的共軛矩陣

Σ?——M奇異值倒數(shù)對角矩陣

則包含未知數(shù)Ei和g(Y′)的向量x可表示為

x=M?b

(8)

鑒于溫室番茄栽培環(huán)境主要包含莖稈、葉片、果實、溫室頂棚、棚架和墻壁等約10類不同物體，為了使采樣點覆蓋視場內(nèi)的各類物體，根據(jù)低曝光圖像灰度直方圖數(shù)據(jù)，將其圖像亮度區(qū)間分為10個等級。對于每個灰度等級從圖像中選定10個像素點，即每幅圖像取100個點，以作為攝像機輻射響應(yīng)標定采樣點，從而得到系數(shù)矩陣M為654行、356列的稀疏矩陣。本文設(shè)定4幅圖像的序列融合時間為0.01、0.05、0.08、0.10 ms，基于圖2場景輻射特征，標定的攝像機輻射響應(yīng)曲線如圖4所示。

圖4 攝像機輻射響應(yīng)曲線Fig.4 Camera response function curve

3 高動態(tài)范圍圖像色彩映射

3.1 視場輻射強度估計

由式(3)可知，在獲得攝像機輻射響應(yīng)函數(shù)g(Y′)基礎(chǔ)上，可根據(jù)圖像像素亮度Y′ij和圖像曝光時間tj，估計視場內(nèi)任意點在感光芯片對應(yīng)點i形成的輻射強度Ei。鑒于圖像數(shù)據(jù)在亮度極值區(qū)間存在較大噪聲，且在亮度中間范圍更可靠，因此需要對視場輻射強度進行補償[22]。與式(4)同理，對由不同曝光強度圖像數(shù)據(jù)獲得的輻射強度引入的加權(quán)函數(shù)ω(Y′)進行修正，然后求其平均值，得到視場中任意未飽和像素對應(yīng)的輻射強度估計值為

(9)

3.2 高動態(tài)范圍的圖像亮度壓縮

融合多曝光條件下圖像信息的視場輻射強度數(shù)據(jù)是可以更加準確、寬泛描述場景亮度的高動態(tài)圖像數(shù)據(jù)，但需要通過色調(diào)映射將其壓縮到低動態(tài)范圍進行顯示和處理。最大化地保留原有圖像明暗信息，是對色調(diào)映射算法的基本要求。鑒于人眼對場景亮度感知的近似S形響應(yīng)特征，本文采用S曲線函數(shù)[23-24]將高動態(tài)圖像數(shù)據(jù)映射到0～255范圍的圖像灰度區(qū)間。壓縮后圖像亮度為

(10)

(11)

式中Emax——高動態(tài)圖像最大亮度

3.3 圖像色彩重構(gòu)

圖5 矯正后的亮度圖Fig.5 Brightness image corrected

圖6 色彩重構(gòu)后的效果圖Fig.6 Color image reconstructed

4 試驗與結(jié)果分析

4.1 試驗設(shè)置

圖7 番茄植株原始圖像Fig.7 Original images of tomato plant

為了驗證圖像色彩矯正算法的性能，2019年4月20日在北京市昌平區(qū)特菜大觀園番茄溫室進行了現(xiàn)場試驗，分別在08:00、10:00、12:00、14:00共4個時段，對3個固定場景采集4幅不同曝光強度的圖像。選用PointGray公司FL3-U3-13S2C型相機，配置8 mm鏡頭，與番茄植株相距800 mm，獲得視場區(qū)域?qū)?、高分別為500、400 mm。試驗過程中相機光圈、增益配置、白平衡等參數(shù)配置不變，采用動態(tài)指令設(shè)置其曝光時間tj為0.01、0.05、0.08、0.10 ms，在線采集番茄植株圖像48幅，列舉其中不同場景特定時段的序列曝光圖像如圖7所示。由于4幅圖像的采集時間約10 s，因此可忽略采集過程中視場光照條件的變化和視場內(nèi)物體的移動。

4.2 結(jié)果分析

對3個場景4個時段的番茄植株圖像進行色彩重構(gòu)，最終結(jié)果如圖8所示。通過直觀對比圖7、8可得，色彩矯正后各場景和時段的圖像色彩特征均得到明顯改善，克服了原始圖像中前景目標番茄植株曝光不足、背景墻壁和頂棚過度曝光的問題，并且不同時段動態(tài)光照強度條件下，植株莖、葉和果的色彩特征保持相對穩(wěn)定。

為了對圖像矯正效果進行量化評估，本文引用信息熵、標準方差和平均梯度3個無參考圖像質(zhì)量評估指標[25]，對色彩矯正前后圖像的灰度信息量、離散程度、清晰度等特征進行評價，其值越大，圖像質(zhì)量越好。不同場景和時段番茄植株原始和矯正后圖像的評價參數(shù)統(tǒng)計分別如表1～3所示。

以不同曝光強度的4幅原始圖像中指標參數(shù)最大圖像作為對照，對于不同時段和場景的植株圖像矯正前后的指標參數(shù)進行對比，以參數(shù)變化相對幅度表征圖像質(zhì)量改善程度。由試驗結(jié)果可得，不同時段和場景的圖像質(zhì)量參數(shù)均顯著提高，圖像信息熵、標準方差和平均梯度平均提高16.87%、9.81%和19.49%。特別地，在不同時段圖像質(zhì)量參數(shù)平均增加比例如圖9所示。盡管不同時段的圖像質(zhì)量均有改善，且在08:00時改善幅度最大，但是在中午時段改善幅度較小，其原因為中午時段環(huán)境光照強，采集的原始圖像中亮度飽和失真像素比例增加，使得攝像機輻射響應(yīng)模型估計誤差增加，同時由于飽和像素缺失色彩信息，無法對其進行色彩重構(gòu)，導(dǎo)致圖像整體質(zhì)量改善有限。因此，優(yōu)化原始圖像曝光時間，結(jié)合環(huán)境光照信息動態(tài)調(diào)整采樣圖像曝光時間，是進一步研究的目標。此外，圖像信息熵和平均梯度參數(shù)提高幅度可保持在20%左右，標準方差增加幅度較小，因此相對均衡圖像灰度，本算法更適于提升圖像信息量和清晰度。

圖8 不同場景、時段番茄植株圖像矯正結(jié)果Fig.8 Reconstructed images of tomato plant

表1 圖像信息熵統(tǒng)計Tab.1 Image entropy statistics

表2 圖像標準方差統(tǒng)計Tab.2 Image standard deviation statistics

表3 圖像平均梯度統(tǒng)計Tab.3 Image average gradient statistics

圖9 圖像質(zhì)量改善程度Fig.9 Improvement of image quality indexes

5 結(jié)束語

針對溫室環(huán)境光照強度波動和復(fù)雜背景亮度突變的問題，提出了基于高動態(tài)范圍成像的圖像色彩矯正方法，有效克服了全局曝光下番茄植株圖像色彩失真問題。通過融合0.01、0.05、0.08、0.10 ms曝光時間的 4幅圖像亮度數(shù)據(jù)，可解析攝像機輻射響應(yīng)模型，并精確恢復(fù)視場高動態(tài)范圍輻射強度信息。以S曲線函數(shù)對輻射強度壓縮后，替換圖像Y分量亮度，可以實現(xiàn)低曝光度圖像的色彩重建。試驗表明，該方法對不同場景和光照時段的圖像均具有顯著效果，圖像信息熵、標準方差和平均梯度平均提高了16.87%、9.81%和19.49%，且矯正后植株莖、葉和果的色彩特征保持相對一致。本研究可為農(nóng)業(yè)復(fù)雜光照條件下作業(yè)對象圖像色彩信息的獲取研究提供技術(shù)參考。