熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛

?

自然光照條件下采摘機器人果實識別的表面陰影去除方法

熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛※

（華南農業(yè)大學數學與信息學院，廣州 510642）

有效的陰影檢測和去除算法會大大提高自然環(huán)境下果實識別算法的性能，為農業(yè)智能化提供技術支持。該研究采用超像素分割的方法，將一張圖像分割成多個小區(qū)域，在對圖像進行超像素分割的基礎上，對自然光照下的果園圖像陰影區(qū)域與非陰影區(qū)域進行對比分析，探索8個自定義特征用于陰影檢測。然后采用SVM的方法，結合8個自主探索的自定義特征，對圖像中每個超像素分割的小區(qū)域進行檢測，判斷每個小區(qū)域是否處于陰影中，再使用交叉驗證方法進行參數優(yōu)化。根據Finlayson的二維積分算法策略，對檢測的每一個陰影區(qū)域進行陰影去除，獲得去除陰影后的自然光照圖像。最后進行陰影檢測的識別準確性試驗，試驗結果表明，本研究的陰影檢測算法的平均識別準確率為83.16%，經過陰影去除后，圖像的陰影區(qū)域亮度得到了提高，并且整幅圖像的亮度更為均勻。該研究可為自然環(huán)境下機器人識別果實及其他工農業(yè)應用場景提供技術支持。

機器人；圖像處理；目標識別；陰影去除

0 引 言

陰影是自然界中普遍存在的物理現(xiàn)象，當物體部分或完全遮擋來自光源的直射光線時就會產生陰影。在自然環(huán)境中存在著復雜的光照，光線會受到樹枝、樹葉、果實等的遮擋，導致在水果的表面生成陰影，而陰影的存在使識別的目標水果區(qū)域與實際有偏差[1]，因此檢測并去除陰影，在采摘機器人的應用中有其重要的意義。

去除陰影涉及2個基本階段：（1）前景物體識別和陰影區(qū)域檢測；（2）去除圖像中的陰影。單張靜態(tài)圖像的陰影去除方法可以分為2類：在梯度域中操作的方法和在圖像強度域中操作的方法。Finlayson等提出在梯度域進行陰影去除操作的建議[2-7]。Finlayson等首先提出如下一些假設：（1）圖像的形成過程屬于朗伯模型（如果一個表面呈現(xiàn)朗伯反射，那么落在其上的光被散射，使得表面對于觀察者而言的亮度是相同的；（2）普朗克光源照明場景（普朗克光是黑體的輻射，其顏色取決于黑體的溫度）；（3）攝像機具有窄帶傳感器。Finlayson等將原始圖像和一維光源不變圖像應用于邊緣檢測，通過求解泊松方程來檢測陰影邊緣并重新整合圖像以獲得三維無陰影圖像。Weiss[8]提出了一種從圖像序列中恢復本征圖像的方法，其中光照變化但反射率恒定。 Matsushita等[9]擴展了Weiss的方法來處理非Lambertian場景，他們最小化了正則化函數，該函數利用偏向的圖像導數產生較少受陰影影響的反射圖像。基于光照無關圖的研究還有，劉艷麗等[10]基于C1C2C3顏色空間，他們發(fā)現(xiàn)在C3通道下陰影區(qū)域與非陰影區(qū)域有較大差異，由此確定滿足閾值條件的像素點為陰影種子點，再結合馬爾科夫隨機場和信任傳導算法，擴展陰影區(qū)域，最終檢測得到完整的陰影區(qū)域。Qu等[11]提出了一種基于正交投影的彩色本征圖像分解方法，能夠將單幅圖像分解為本征圖像和光照圖像。該方法對圖像整體光照變化及局部陰影問題都能進行快速有效的處理，但是恢復的圖像有失真的情況。這些方法的結果有不錯的效果。然而實際測試中，發(fā)現(xiàn)這些方法在自然光照的環(huán)境中是不適宜的。其他的從單張靜態(tài)圖像去除陰影的方法還有基于強度域的方法等[12-17]。Wu等[18]認為在朗伯假設下，陰影圖像是無陰影圖像經過一個參數衰弱后所得到的圖像，因此能夠通過預先使用人工標記的方式標記大致的陰影區(qū)域，再經由Bayesian模型對陰影區(qū)域進行檢測，Lalonde 等[19]認為室外場景中地面的材料類型是可窮盡的，通常包括混凝土、瀝青、草地、泥土、石頭與磚塊等，因此可通過標注路面上的陰影區(qū)域與非陰影區(qū)域，再使用條件隨機場的方法檢測陰影區(qū)域。Han等[20]提出的陰影去除方法需要先手工對陰影區(qū)域進行初步描畫，再對描畫的區(qū)域去除陰影，該方法在去除陰影后仍能較好保持物體的紋理，但是需要人工初步描畫陰影區(qū)域，對于復雜光照以及復雜紋理物體的恢復效果較差。上述研究方法中陰影去除效果不錯，但是需要預先使用人工標記的方式標記大致的陰影區(qū)域，因此該方法并不適用于自然光照下機器人識別果實的陰影檢測。

本研究以自然光照下在果園采集的水果圖像為對象，經過圖像觀察，自然環(huán)境中果樹的各種狀態(tài)是已知的，即圖像中只包含樹枝、樹葉、果實、地面、天空、有無陰影等情況，情況是可窮盡的，因此可使用機器學習的方式進行訓練并有效分類。但是僅僅使用單一像素值作為特征判斷陰影，則顏色較暗的物體表面可能會被誤判為陰影，根據對圖像的觀察，當陰影被投射在物體表面時會形成輪廓，因此可利用投射陰影明顯的輪廓特征將圖像分割成各個區(qū)域后，再利用區(qū)域特征用于識別陰影區(qū)域。因此，本研究使用超像素分割的方法將圖像分割成多個不重疊的小區(qū)域，對每個小區(qū)域進行特征分析，探索了8個自定義特征用于SVM識別陰影與非陰影區(qū)域，將識別得到的陰影區(qū)域連接起來形成陰影掩膜，最后采用二維積分方法對陰影區(qū)域進行去除陰影操作。以期為自然環(huán)境機器人視覺的精準識別與定位提供技術支持。

1 材料與方法

1.1 圖像的采集

本研究的視覺系統(tǒng)由CCD攝像機、支架等硬件組成。CCD攝像機為維視公司生產的MV-E800C型，最大分辨率3312×2496像素。圖像采集方法為：攝像機距果樹約50～100 cm對成熟的柑橘、龍眼和荔枝進行拍攝，光照條件為順光。試驗所用的荔枝圖像拍攝于廣東省農業(yè)科學院荔枝園，拍攝時間為2016年6月25日至7月15日，龍眼圖像拍攝于廣東省增城區(qū)東林果業(yè)園內，拍攝時間為2017年7月13日，柑橘圖像拍攝于廣東省增城區(qū)東林果業(yè)園內，拍攝時間為2017年12月25日。其中柑橘的品種為“皇帝柑”，荔枝的品種是“糯米糍”，龍眼的品種為“儲良”。

1.2 方法與流程

本文算法運行環(huán)境為Ubuntu 16.04，軟件為Matlab2016b。由于在自然環(huán)境的條件下，經過分析發(fā)現(xiàn)，在果實成熟期間內果樹的各種狀態(tài)是已知的，即圖像中僅包含樹枝、樹葉、果實、地面、天空，有無陰影等情況，因此能夠通過機器學習的方式進行訓練并有效分類，問題的關鍵在于提取有效的特征進行分類。

本研究的思路是利用區(qū)域與基于MSRCR變換的突出紋理特征，將圖片分割為各區(qū)域，再將每個區(qū)域的特征提取出來，使用SVM方法進行訓練和測試，最后使用Finlayson的陰影去除方法去除陰影，流程圖如圖1所示。

圖1 陰影識別與去除流程圖

2 陰影檢測

2.1 圖像小區(qū)域劃分

由于使用單一像素值作為特征判斷陰影，顏色較暗的物體表面可能會被誤判為陰影。根據陰影的特性，當陰影投射在物體表面時會形成陰影，但也存在本身顏色較暗的物體如果梗等。

根據對自然環(huán)境下試驗圖像的觀察，為了避免顏色較暗的物體的干擾，可利用投射陰影區(qū)域與其他非陰影區(qū)域包括較暗物體之間的亮度與色度差異，對圖像進行超像素分割，得到多個小區(qū)域。因此本研究使用Mean shift的方法[22]將圖像分割成多個小區(qū)域。Mean shift 方法首先將圖像轉換到有亮度與色度信息的L*u*v顏色空間，將每一個像素點轉換成像素點位置坐標加三維L*u*v信息的格式，再對每一個轉換格式后的點使用均勻分布核函數迭代計算其均值向量，得到最終的聚點。對每一個轉換格式后的點，將迭代計算得到的每個對應聚點的L*u*v值賦給該點，完成圖像平滑處理，使用區(qū)域生長算法合并一些類似的小區(qū)域，最后按順序給每個小區(qū)域內的像素點賦上序號值，完成圖像的超像素分割與區(qū)域標簽。分割效果如圖2所示。

2.2 提取單一小區(qū)域特征

對于每一個區(qū)域，Guo等[21]提出了通過區(qū)域比對的方法來識別陰影區(qū)域。但是在實際應用中，兩兩區(qū)域比對將會消耗更多的計算資源，達不到實時處理的要求。因此，通過變換的方法，突出陰影區(qū)域與非陰影區(qū)域之間的區(qū)別。下面是我們通過實驗所找到的新的特征用于檢測陰影，包括灰度特征，基于MSRCR變換的紋理特征。

區(qū)域灰度均值為

式中為第i個超像素分割區(qū)域的紅色分量的平均值，為第i個超像素分割區(qū)域的綠色分量的平均值，為第i個超像素分割區(qū)域的藍色分量的平均值。由于陰影區(qū)域的光線被遮擋，陰影區(qū)域普遍的整體灰度值較小，因此該特征能被用于識別與檢測陰影區(qū)域。

歸一化′特征為

基于MSRCR變換的區(qū)域特征M為

該特征計算了紋理特征中的均值。其中，N為第個超像素分割區(qū)域內的像素點數量，R(,)為第個超像素分割區(qū)域內經過MSRCR圖像增強算法變換后的像素值[24]，I(,)為第個超像素分割區(qū)域內的原像素值。

MSRCR是在多尺度Retinex的基礎上加入了色彩恢復因子來調節(jié)由于圖像局部區(qū)域對比度增強而導致顏色失真的缺陷。MSRCR算法可簡述如下

該特征是突出特征，經過MSRCR變換后，提取出與原圖相差較大的部分，由于原本光照充足的區(qū)域經過變換后亮度依舊很大，因此這些區(qū)域之間的差異很??；而原本是陰影的區(qū)域經過變換后將與原圖產生很大的亮度差異，而且該變換對原本顏色偏暗物體的亮度提升并不明顯，因此該特征能用于識別陰影區(qū)域。

同理，由于原圖像中的陰影區(qū)域，紋理不明顯，經過MSRCR變換后的圖像中，反而使紋理更為突出，而經過MSRCR變換后的圖像抑制了原先的非陰影區(qū)域和低亮度非陰影區(qū)域，減弱了非陰影區(qū)域的紋理，因此可通過計算下述標準偏差、平滑度、三階矩、一致性和熵的紋理度量作為特征，用于SVM的訓練和識別陰影區(qū)域。

基于MSRCR變換的區(qū)域特征（標準偏差）為

該特征計算了紋理特征中的標準偏差。式中M為第個超像素分割區(qū)域經過MSRCR變換后的突出區(qū)域特征，即突出紋理特征中的灰度均值。

基于MSRCR變換的區(qū)域特征R（平滑度）為

該特征計算了紋理特征中的平滑度。式中為第個超像素分割區(qū)域經過MSRCR變換后的突出區(qū)域特征，即突出紋理特征中的標準偏差。

基于MSRCR變換的區(qū)域特征3（三階矩）為

該特征計算了紋理特征中的三階矩。式中P(Z)為第個超像素分割區(qū)域經過MSRCR變換后Z灰度級對應的灰度頻數，為最大的灰度級數，Z為可能的所有灰度級數，M為第個超像素分割區(qū)域經過MSRCR變換后的突出紋理特征中的灰度均值。

基于MSRCR變換的區(qū)域特征U（一致性）為

該特征計算了紋理特征中的一致性。式中Z為可能的所有灰度級數，P(Z)為第個超像素分割區(qū)域經過MSRCR變換后Z灰度級對應的灰度頻數。

基于MSRCR變換的區(qū)域特征e（熵）為

該特征計算了紋理特征中的熵。其中，P(Z)為第i個超像素分割區(qū)域經過MSRCR變換后Z灰度級對應的灰度頻數。

經過50個陰影與非陰影區(qū)域樣本的比較，即陰影下的3個柑橘果實區(qū)域，3個柑橘葉區(qū)域，3個柑橘果梗區(qū)域，6個荔枝果實區(qū)域，3個荔枝葉區(qū)域，3個荔枝果梗區(qū)域和4個地面區(qū)域。非陰影下的3個柑橘果實區(qū)域，3個柑橘葉區(qū)域，3個柑橘果梗區(qū)域，4個荔枝果實區(qū)域，3個荔枝葉區(qū)域，3個荔枝果梗區(qū)域和3個地面區(qū)域，再選取3個天空區(qū)域，共50個區(qū)域的樣本，分別對每一個區(qū)域計算式（1）～（9）的特征，陰影區(qū)域與非陰影區(qū)域的特征對比結果如圖3所示，根據數據顯示，發(fā)現(xiàn)這些特征能夠顯著地區(qū)別不同材質表面的陰影和非陰影狀態(tài)。

注： B′為歸一化特征；MRi、sRi；RRi、mRi3、URi、eRi為基于MSRCR變換的6個區(qū)域特征。

2.3 基于SVM的陰影識別與CV參數優(yōu)化

根據對自然環(huán)境的分析，自然環(huán)境中主要包括水果、樹葉、地面、果梗和天空的情況，因此本研究選取陰影與非陰影下水果、樹葉、地面和果梗手動框選的區(qū)域各25個樣本，即陰影下的25個柑橘果實區(qū)域，25個柑橘葉區(qū)域，25個柑橘果梗區(qū)域，25個荔枝果實區(qū)域，25個荔枝葉區(qū)域，25個荔枝果梗區(qū)域和25個地面區(qū)域。非陰影下的25個柑橘果實區(qū)域，25個柑橘葉區(qū)域，25個柑橘果梗區(qū)域，25個荔枝果梗區(qū)域，25個荔枝葉區(qū)域，25個荔枝果梗區(qū)域和25個地面區(qū)域，再選取25個天空區(qū)域，共375個區(qū)域的樣本，得到375個特征向量進行訓練。

本研究使用SVM的方法[25]進行訓練與陰影檢測。SVM 是在統(tǒng)計學習理論上發(fā)展起來的新型機器學習方法，其建立在VC維理論和結構風險最小原理基礎之上，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的泛化能力。SVM的基本理論從線性可分問題的求解中推導出來，但是其最具優(yōu)勢的一面體現(xiàn)在對非線性可分問題的求解上[26]。

再使用K-CV交叉驗證[27]得到在此組參數下訓練集驗證分類準確率，最終取使得訓練集驗證分類準確率最高的那組參數作為最佳的參數。對于包含多組參數對應于最高的驗證分類準確率，則選取能夠達到最高驗證分類準確率中懲罰參數最小的那組作為最佳的參數，因為過高的懲罰參數會導致過學習狀態(tài)發(fā)生，即訓練集分類準確率很高而測試集分類準確率很低（分類器的泛化能力降低），所以在能夠達到最高驗證分類準確率中的所有的成對的參數中認為較小的懲罰參數是更佳的選擇對象。最終經過優(yōu)化后的參數，損失系數=0.062 5，核函數參數=0.062 5。

利用上述訓練與參數優(yōu)化后得到的模型識別陰影掩膜，使用Mean shift方法將圖像分割成多個區(qū)域，并對每個區(qū)域標記序號。使用以上的8個公式提取每個超像素分割區(qū)域的特征，再使用SVM方法識別陰影區(qū)域。最后將標記的陰影區(qū)域合并，得到陰影掩膜。最終的識別結果如圖4e～圖4h 所示，其中白色像素塊為陰影區(qū)域，黑色像素塊為非陰影區(qū)域。

3 陰影去除試驗

3.1 基于積分的陰影去除方法

本研究應用Finlayson等[4]的二維積分陰影去除方法，該方法首先使用canny算子對檢測得到的陰影掩膜進行邊緣檢測，再求得三維的對數空間圖像的導數，將導數圖像中陰影邊緣部分置為0，然后通過對導數圖像進行二階導，最后求解二階導圖像的泊松方程恢復真彩色圖像。其中，為了保證陰影邊緣的連續(xù)性，采用迭代算法利用相鄰的非陰影邊緣點估計曾被置為0的陰影邊緣的值。恢復的結果如圖4i～圖4l所示。

a. 檢測前柑橘圖像a. Citrus image before detectingb. 檢測前荔枝圖像1b. Litchi image 1 before detectingc. 檢測前荔枝圖像2c. Litchi image 2 before detectingd. 檢測前龍眼圖像d. Longan image before detecting e. 柑橘圖像檢測圖e. Citrus image after detectingf. 荔枝圖像1檢測圖f. Litchi image 1 after detectingg. 荔枝圖像2檢測圖g. Litchi image 2 after detectingh. 龍眼圖像檢測圖h. Longan image after detecting i. 柑橘圖像處理后i. Citrus image after processingj. 荔枝圖像1處理后j. Litchi image 1 after processingk. 荔枝圖像2處理后k. Litchi image 2 after processingl. 龍眼圖像處理后l. Longan image after processing

3.2 試驗結果分析

陰影區(qū)域檢測的準確率可以通過如下的指標來進行評價，該指標是Sun等[28]在評價陰影檢測準確性時所用的指標，其中各指標所代表的意義如下：

TP（true positive）：陰影區(qū)域被正確檢測為陰影區(qū)域的個數。

TN（true negative）：非陰影區(qū)域被正確檢測為非陰影區(qū)域的個數。

FP（false positive）：非陰影區(qū)域被錯誤檢測為陰影區(qū)域的個數。

FN（false negative）：陰影區(qū)域被錯誤檢測為非陰影區(qū)域的個數。

敏感性（true positive rate）：也叫命中率，即被檢測判斷為陰影區(qū)域的區(qū)域中，真實為陰影區(qū)域的概率，計算公式如式（10）。

True positive rate=TP/(TP+FN) （10）

特異性（false positive rate）：即被檢測判斷為非陰影區(qū)域的區(qū)域中，真實為非陰影區(qū)域的概率，如果特異性比較低，則表示大量的非陰影區(qū)域被檢測判斷為陰影區(qū)域。計算公式為

False positive rate=TN/(TN+FP) （11）

準確度（AUC）：即ROC曲線下的面積，準確度越高表明檢測結果越準確。

本研究新選取陰影與非陰影下水果、樹葉、地面和果梗手動框選的區(qū)域各60個樣本，即陰影下的60個柑橘果實區(qū)域，60個柑橘葉區(qū)域，60個柑橘果梗區(qū)域，60個荔枝果實區(qū)域，60個荔枝葉區(qū)域，60個荔枝果梗區(qū)域和60個地面區(qū)域。非陰影下的60個柑橘果實區(qū)域，60個柑橘葉區(qū)域，60個柑橘果梗區(qū)域，60個荔枝果梗區(qū)域，60個荔枝葉區(qū)域，60個荔枝果梗區(qū)域和60個地面區(qū)域，再選取60個天空區(qū)域，共900個區(qū)域作為測試樣本庫，本研究進行10次試驗，每次隨機從測試樣本庫中選取50個陰影區(qū)域與50個非陰影區(qū)域進行識別，計算每次試驗的敏感性與特異性曲線（receiver operating characteristic curve，簡稱ROC曲線），得到如圖5所示的結果。

注：auc表示準確率，%。

上述結果顯示，經過10次的隨機試驗，使用本研究的8個特征能夠有效地檢測陰影區(qū)域，平均準確率為83.16%。

為了驗證陰影去除后對荔枝識別的效果，我們采用了在YCbCr顏色分量的Cr分量下，使用Otsu、-means、FCM的方法識別荔枝的方案，-means 和FCM 分為2個聚類中心和3個聚類中心的情況，在表1中為2C和3C。其中Precision為所有陰影像素的像素點中正確分割的陰影像素的比值，其計算方法如式（12）。

Precision=TP/(TP+FP) （12）

Recall為在去除陰影之前手工標記的陰影像素中，正確被分割為陰影像素所占的比例，定義為

Recall=TP/(TP+FN) （13）

對比識別結果如表1所示。

表1 分割算法比較表

由試驗結果可知，經過陰影去除后的圖像，識別得到的荔枝果實將更為完整，表明了陰影去除的有效性。而存在陰影檢測結果不理想的原因可能如下：

1）訓練樣本不夠多，情況未被完全窮盡。在訓練SVM分類器的時候，雖然分類器分類是否陰影的情況準確率非常高，但也可能出現(xiàn)過擬合的問題，即分類器的泛化能力不夠，對于未出現(xiàn)在訓練中的新的情況不能很好的判斷區(qū)域是否處于陰影中。

2）在手動框選區(qū)域進行訓練的過程中，與超像素分割出來的區(qū)域出現(xiàn)了新的區(qū)域情況。由于陰影區(qū)域中物體的紋理不明顯，因此超像素分割時出現(xiàn)了在同一個區(qū)域中有不同物體或不同材料的情況，而在手動框選區(qū)域訓練時沒有考慮這種情況。

3）分類器的選擇不是最優(yōu)。目前前沿發(fā)展的機器學習和深度學習方法，可能有更適用于分類陰影區(qū)域且準確率更高的方法。

4 結 論

在采摘機器人的視覺系統(tǒng)中，果實的快速識別與定位是果實采摘機器人采摘果實的關鍵技術。但是，在自然環(huán)境中存在著復雜的光照，光線會受到樹枝、樹葉、果實等的遮擋，導致在水果的表面生成陰影，而陰影的存在使識別的目標水果區(qū)域與實際有偏差，因此檢測并去除陰影，在采摘機器人的應用中有其重要的意義。本文進行了自然光照下機器人識別果實的陰影檢測與陰影去除方法的研究，避免了白天自然光照變化帶來的影響，并設計試驗驗證了該算法的有效性和可行性。

1）根據陰影的特性，分析與提取區(qū)域特征。探索了區(qū)域灰度均值、歸一化′特征、基于MSRCR變換的區(qū)域特征M、基于MSRCR變換的區(qū)域特征（標準偏差）、基于MSRCR變換的區(qū)域特征R（平滑度）、基于MSRCR變換的區(qū)域特征3（三階矩）、基于MSRCR變換的區(qū)域特征U（一致性）與基于MSRCR變換的區(qū)域特征e（熵）這8個區(qū)域特征在陰影檢測中的有效性。

2）基于SVM與交叉驗證方法優(yōu)化參數的陰影區(qū)域識別。提取每一個標記區(qū)域的8 個特征，使用SVM方法識別每一個區(qū)域是否是陰影區(qū)域，陰影檢測的平均準確率為82.508%。

3）本研究對自然光照條件下采集的果園圖像使用超像素分割的方法，將圖像分割成多個小區(qū)域并打上標簽，以方便對區(qū)域特征的分析與提取。

4）基于二維積分方法的陰影去除。本研究利用了陰影邊緣的導數，從臨近非陰影邊緣獲得中間值補償自然光照下果實或果樹圖像的陰影區(qū)域，使圖像的陰影區(qū)域的亮度提高，并且使整幅圖像的亮度更為均勻。

[1] 宋懷波，屈衛(wèi)鋒，王丹丹，等. 基于光照無關圖理論的蘋果表面陰影去除方法[J]. 農業(yè)工程學報，2014，30(24)：168－176.

Song Huaibo, Qu Weifeng, Wang Dandan, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(24): 168－176. (in Chinese with English abstract)

[2] Finlayson G D, Hordley S D, Drew M S. Removing shadows from images[C]//European Conference on Computer Vision. Springer-Verlag, 2002: 823－836.

[3] Finlayson G D, Drew M S, Lu C. Intrinsic images by entropy minimization[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2004: 582－595.

[4] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Trans Pattern Anal Mach Intell, 2006, 28(1): 59－68.

[5] Finlayson G D, Drew M S, Fredembach C. Detecting illumination in images[C]// IEEE International Conference on Computer Vision. 2007: 1－8.

[6] Finlayson G D, Hordley S D. Color constancy at a pixel[J]. Journal of the Optical Society of America a Optics Image Science & Vision, 2001, 18(2): 253－264.

[7] Finlayson G D, Drew M S. 4-sensor camera calibration for image representation invariant to shading, shadows, lighting, and scularities[C]//IEEE International Conference on Computer Vision, 2001(2): 473－480.

[8] Weiss Y. Deriving intrinsic images from image sequences[C]//Proc. IEEE International Conference on Computer Vision, July. 2001(2): 68－75.

[9] Matsushita Y, Lin S, Kang S B, et al. Estimating intrinsic images from image sequences with biased illumination[C]// European Conference on Computer Vision , 2004, 3022: 274－286.

[10] 劉艷麗，石俊，張嚴辭. 一種單幅室外圖像的陰影去除算法[J]. 軟件學報，2012，23(2)：168－175.

Liu Yanli, Shi Jun, Zhang Yanci. Shadow removal based on single outdoor image[J]. Journal of Software, 2012, 23(2): 168－175 (in Chinese with English abstract)

[11] Qu L, Tian J, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow- free image[J]. Optics Express, 2015, 23(3): 2220－2239.

[12] Shen L, Tan P, Lin S. Intrinsic image decomposition with non-local texture cues[C]// Computer Vision and Pattern Recognition, 2008: 1－7.

[13] Shen L, Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[C]//Computer Vision and Pattern Recognition, 2011, 32(14): 697－704.

[14] Laffont P Y, Bousseau A, Paris S, et al. Coherent intrinsic images from photo collections[J]. Acm Transactions on Graphics, 2012, 31(6): 1－11.

[15] Levine M D, Bhattacharyya J. Removing shadows[J]. Pattern Recognition Letters, 2005, 26(3): 251－265.

[16] Figov Z, Koppel M. Detecting and removing shadows[C]// International Conference on Computer Graphics and Imaging, 2004.

[17] Baba M, Mukunoki M, Asada N. Shadow removal from a real image based on shadow density[C]// Proceedings ACM SIGGRAPH, 2004.

[18] Wu T P, Tang C K. A bayesian approach for shadow extraction from a single image[C]// Tenth IEEE International Conference on Computer Vision, 2005, 1(1): 480－487.

[19] Lalonde J F, Efros A A, Narasimhan S G. Detecting ground shadows in outdoor consumer photographs[C]// European Conference on Computer Vision, 2010, 6312: 322－335.

[20] Han G, Cosker D. User-assisted image shadow removal[J]. Image and Vision Computing, 2017(62): 19－27.

[21] Guo R, Dai Q, Hoiem D. Single-image shadow detection and removal using paired regions[J]. Computer Vision & Pattern Recognition, 2011, 32(14): 2033－2040.

[22] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, 24(5): 603－619.

[23] Phong B T. Illumination for computer generated pictures[J]. Communications of the Acm, 1975, 18(6): 311－317.

[24] Rahman Z U, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement[C]// Human Vision and Electronic Imaging VII. International Society for Optics and Photonics, 2002, 4662(1): 100－110.

[25] Chang C C, Lin C J. LIBSVM: A Library for Support Vector Machines[M]. New York: ACM, Inc., 2011.

[26] 鄧乃揚，田英杰. 數據挖掘中的新方法：支持向量機[M]. 科學出版社，2004.

[27] 劉濤，賈進章. 基于K-CV&SVM的工作面煤層瓦斯含量預測[J]. 世界科技研究與發(fā)展，2015(2)：147－150.

Liu Tao, Jia Jinzhang. Prediction for seam gas content of coal face based on cross-validation & SVM[J]. World SCI-TECH R&D, 2015(2): 147－150. (in Chinese with English abstract)

[28] Sun J, Tian J, Du Y, et al. Retinex theory‐based shadow detection and removal in single outdoor image[J]. Industrial Robot, 2009, 36(3): 263－269.

Shadow removal method of fruits recognized by picking robot under natural environment

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang※

(,,510642,)

In the visual system of picking robot, the recognition and orientation of fruit is the key technology. In the natural environment, there is complex light and the shadows are ubiquitous physical phenomena in the natural world. The light would be blocked by branches, leaves, fruit, etc., resulting in shadow casting on fruits. Shadow makes it more difficult for machine vision to identify and locate fruit, so it is significant to detect and remove shadows in the application of picking robot. In this paper, the shadow detection and removal method for fruit recognition by picking robot in the natural environment was studied to avoid the effect of light changes during the day, and the experiments were designed to verify the feasibility and effectiveness of the algorithm. In this study, we used bounding box manually to circumscribe and tag the branches, leaves, fruit, ground and sky of the citrus, litchi and longana images. The classification labels of the bounding box were set to shadow and no shadow firstly. The shadow region and the no shadow region of the orchard image under natural light were compared and analyzed. According to the characteristics of shadows, 8 regional features, including average pixel value of regional grayscale, normalization of the feature, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, reegional feature based on MSRCR transformation, regional feature based on MSRCR transformation and regional feature based on MSRCR transformation were studied and proved to be the effective features for shadow detection. The 8 self-explored custom features were extracted based on MSRCR and the classification labels of the above regions and trained by using the SVM. K-fold cross validation method was used to optimize the parameters of the SVM, and finally the optimal classification model was obtained. Secondly, the method of superpixel segmentation was used to divide an image into multiple small regions. Based on the superpixel segmentation of the image, the 8 self-explored custom features were extracted, and each small segment of the superpixel segmentation in the image was detected, and it was determined whether each small region was in the shadow. According to the strategy of Finlayson's two-dimensional integration algorithm, the shadow removal was performed on each detected shadow region, and the natural light image was obtained after removal of the shadow. Finally, the accuracy of shadow detection was tested. The experimental results showed that the average accuracy of the shadow detection algorithm in this study was 83.16%. In order to verify the effect of litchi recognition after shadow removal, some methods, including Otsu,-means and FCM, were implemented to recognize litchis using Cr component of YCbCr color model. The results showed that the litchis were recognized more intactly from the images after shadow removal, shadow removal can improve the recognition effect of fruits. This study provides a technical support for the robots to identify fruits and other industrial and agricultural application scenarios in the natural environment.

robot; image processing; target recognition; shadow removal

熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛. 自然光照條件下采摘機器人果實識別的表面陰影去除方法[J]. 農業(yè)工程學報，2018，34(22)：147－154. doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang. Shadow removal method of fruits recognized by picking robot under natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(22): 147－154. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.22.018

TP391.41

A

1002-6819(2018)-22-0147-08

2018-06-07

2018-09-04

國家自然科學基金項目（31201135，31571568）、廣東省自然科學基金項目（2018A030313330）和廣州市科技計劃項目（201802020032）

熊俊濤，副教授，主要從事農業(yè)機器人和智能設計與制造研究。Email：xiongjt2340@163.com

楊振剛，副教授，主要從事機器視覺與虛擬現(xiàn)實的關鍵技術研究。Email：yzg@scau.edu.cn