趙慶展,劉漢青,田文忠,王學(xué)文
·農(nóng)業(yè)航空工程·
低空無人機(jī)高光譜影像失真評價指標(biāo)構(gòu)建
趙慶展1,3,4,劉漢青2,3,4,田文忠2,3,4,王學(xué)文1,3,4
(1. 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院,石河子 832003;2.石河子大學(xué)機(jī)械電氣工程學(xué)院,石河子 832003;3. 兵團(tuán)空間信息工程技術(shù)研究中心,石河子 832003;4. 兵團(tuán)工業(yè)技術(shù)研究院,石河子 832003)
為定量分析無人機(jī)高光譜成像系統(tǒng)數(shù)據(jù)獲取時因航線變換及太陽輻照度變化而產(chǎn)生的白噪聲、運動模糊、條帶噪聲等導(dǎo)致的影像失真,該研究利用地物光譜儀和機(jī)載成像光譜儀獲取研究區(qū)內(nèi)棉花冠層光譜數(shù)據(jù),基于典型植被光譜特征分析驗證數(shù)據(jù)質(zhì)量,配合使用數(shù)字圖像處理方法完成白噪聲、散焦模糊、運動模糊、光譜平滑以及條帶噪聲的模擬樣本集構(gòu)建,并結(jié)合設(shè)備采集噪聲(條帶噪聲混合白噪聲)構(gòu)建真實樣本集,建立影像波段信息、光譜信息以及空間-光譜總體信息質(zhì)量的評價指標(biāo),通過相關(guān)性分析評價指標(biāo)有效性。結(jié)果表明:對模擬樣本集,除百分比最大絕對差,本文建立的指標(biāo)均與影像質(zhì)量顯著相關(guān)(<0.01),在實際噪聲樣本內(nèi)各指標(biāo)相關(guān)性均產(chǎn)生不同程度下降,僅平均絕對誤差(0.609,<0.01)、均方誤差(0.459,<0.01)、相對均方根誤差(0.502,<0.01)以及總體信息保真度(-0.471,<0.01)滿足相關(guān)性要求。研究結(jié)果可為低空機(jī)載高光譜影像質(zhì)量分析及失真指標(biāo)的選取提供借鑒和參考。
無人機(jī);高光譜;遙感;失真;評價指標(biāo)
無人機(jī)搭載成像光譜儀作為遙感數(shù)據(jù)獲取手段被廣泛用于植被監(jiān)測、礦物覆蓋填圖等領(lǐng)域[1-2],為光譜數(shù)據(jù)獲取提供便利的同時也為成像質(zhì)量帶來新的不確定性,如氣流擾動、航線變換導(dǎo)致的成像質(zhì)量下降等問題。
為提高農(nóng)業(yè)應(yīng)用場景下影像獲取精度,秦占飛等[3]依托機(jī)載成像高光譜設(shè)備,選擇晴朗無風(fēng)的天氣在正午太陽高度角>45°時采集研究區(qū)高光譜影像,用于精準(zhǔn)估測水稻葉片全氮含量。田明璐等[4]在較好的氣象條件下獲取低空機(jī)載高光譜影像數(shù)據(jù)和地面葉面積指數(shù)(Leaf Area Index,LAI)數(shù)據(jù)。高林等[5]在冬小麥葉面積指數(shù)反演研究中注重對獲取數(shù)據(jù)的質(zhì)量驗證。通過ASD Field SpecFR PRO2500光譜輻射儀與Cubert UHD185 Firefly成像光譜儀聯(lián)合獲取冬小麥冠層光譜數(shù)據(jù),分析植被光譜特征值“綠峰”“紅谷”、冠層光譜相關(guān)性及地物光譜差異,可定量闡明數(shù)據(jù)質(zhì)量。
自然環(huán)境下遙感數(shù)據(jù)采集傳輸過程受多方面因素干擾[6],如電子干擾、溫度漂移等,導(dǎo)致采集的數(shù)據(jù)存在一定誤差。Hu等[7]研究了高光譜影像壓縮對葉綠素及葉面積指數(shù)反演的影響,試驗獲取覆蓋玉米、大豆和小麥種植區(qū)的航空高光譜影像(2 m空間分辨率),以相關(guān)性、均方根誤差和相對均方根誤差對標(biāo)準(zhǔn)影像和壓縮影像反演的LAI進(jìn)行估測,結(jié)果表明使用多級矢量量化的圖像壓縮處理時,相對于地面測量值在壓縮比為20∶1、30∶1、50∶1時葉綠素反演精度不受影響,但該方法回避了影像質(zhì)量的直接計算,通過反演LAI精度表現(xiàn)數(shù)據(jù)質(zhì)量,這對于數(shù)據(jù)龐大的高光譜影像是不友好的。Li等[8]針對AVIRIS(Airborne Visible Infrared Imaging Spectrometer,AVIRIS)數(shù)據(jù)存在條帶噪聲的問題,提出了基于矩陣匹配和最臨近差值的去噪方法,通過對比小波去噪、矩陣匹配和最鄰近插值方法,結(jié)合影像質(zhì)量評價因子及波段相關(guān)系數(shù)證實了研究方法的有效性,但AVIRIS影像獲取時間較早,不具有無人機(jī)高光譜影像高分辨率的特征,且條帶噪聲模擬是否滿足真實環(huán)境下的樣本分布有待商榷。Hakala等[9]對光照變化引起的機(jī)載高光譜影像質(zhì)量進(jìn)行了深入研究,探索不同光照條件下影像定量輻射處理方法,通過將影像劃分為大小一致的區(qū)域,計算網(wǎng)格點的變異系數(shù)后進(jìn)行平均,雖然改善了光照差異產(chǎn)生的影像不均勻,但受網(wǎng)格大小限制未充分利用像素差異信息。高光譜數(shù)據(jù)質(zhì)量計算是高光譜數(shù)據(jù)處理和應(yīng)用的重要環(huán)節(jié),探究滿足無人機(jī)高光譜影像質(zhì)量判讀的有效指標(biāo)有重要意義。
無人機(jī)高光譜影像獲取一般包含影像采集、影像預(yù)處理、影像拼接3個主要步驟。采集數(shù)據(jù)經(jīng)波段配準(zhǔn)獲得航空影像,該數(shù)據(jù)質(zhì)量對于拼接效果至關(guān)重要。當(dāng)前大多數(shù)研究基于正射影像的直接判讀,無法避免因前期數(shù)據(jù)獲取或數(shù)據(jù)預(yù)處理產(chǎn)生的異常而導(dǎo)致正射影像失真問題。本文以此為出發(fā)點,探究不同失真可能導(dǎo)致的航空影像質(zhì)量變化,采用數(shù)字圖像處理方法建立多類失真數(shù)據(jù)集,結(jié)合實際獲取的噪聲樣本完成3類15個指標(biāo)有效性的評估,旨在為無人機(jī)高光譜影像預(yù)處理質(zhì)量評價提供方法參考和依據(jù)。
首先以高航向、旁向重疊率采集原始數(shù)據(jù),經(jīng)校正、配準(zhǔn)得到航空影像,拼接后獲得覆蓋研究區(qū)域的正射影像;地面數(shù)據(jù)采集經(jīng)樣本點選取、設(shè)備調(diào)試、校正等步驟獲取地物(棉花)冠層光譜數(shù)據(jù);采用二維高斯函數(shù)、空間域卷積、頻域率變換、光譜維濾波等方法完成模擬樣本生成;建立3類質(zhì)量評價指標(biāo),通過樣本質(zhì)量計算及相關(guān)性分析,探究適用于計算影像質(zhì)量的有效指標(biāo),技術(shù)路線見圖1。
研究區(qū)位于新疆塔城地區(qū)沙灣市蘑菇湖村棉花種植區(qū)(北緯44°24'48",東經(jīng)85°53'41")見圖2。沙灣市地處于亞歐大陸腹地,屬于中溫帶大陸性干旱氣候,具有降水量少蒸發(fā)量大,氣候干燥的特點[10]。年平均氣溫7.18~9.13 ℃,無霜期170~190 d,多年年均降水量244.23 mm,年蒸發(fā)量1 500~2 000 mm,農(nóng)作物種植面積約157 610 hm2,其中棉花種植面積占比超67%。
圖1 技術(shù)路線圖
圖2 研究區(qū)及數(shù)據(jù)獲取
數(shù)據(jù)獲取采用芬蘭SENOP公司生產(chǎn)的RIKOLA高光譜成像儀[11],設(shè)定光譜范圍覆蓋502.56~903.2 nm共42個波段,主要參數(shù)見表1。RGB影像使用波段1、波段6、波段16合成,中心波長分別為502.56、553.1以及636.75 nm。無人機(jī)平臺采用大疆M600PRO六軸飛行器,使用Ronin-MX航拍三軸云臺保證成像設(shè)備穩(wěn)定性。
表1 高光譜相機(jī)主要參數(shù)
1.3.1 高光譜影像數(shù)據(jù)獲取及預(yù)處理
在晴朗微風(fēng)天氣進(jìn)行低空機(jī)載高光譜影像數(shù)據(jù)獲取。試驗數(shù)據(jù)采集于2021年7月11日14:00—16:00,研究區(qū)內(nèi)花鈴期棉花生長狀態(tài)較好。設(shè)定航高80 m,航向重疊率80%,旁向重疊率75%,飛行速度7.7 m/s,起飛前使用標(biāo)準(zhǔn)反射率板進(jìn)行輻射標(biāo)定,根據(jù)當(dāng)天光照情況設(shè)定鏡頭曝光時間7 ms。
原始數(shù)據(jù)在RIKOLA_HSI軟件內(nèi)完成暗電流校正及格式轉(zhuǎn)換,使用RegMosaic軟件完成波段配準(zhǔn)取得航空影像,經(jīng)Agisoft PhotoScan(Agisoft LLC,St. Petersburg,Russia)軟件完成影像拼接,數(shù)據(jù)導(dǎo)入至ENVI 5.3進(jìn)行解譯,通過64%、48%、22%、3%標(biāo)準(zhǔn)反射板數(shù)據(jù)完成DN值到反射率的校正[12]。
1.3.2 地面光譜儀數(shù)據(jù)獲取
采用FieldSpec4 Hi-Res便攜式地物光譜儀測量地面樣本點棉花冠層光譜反射率。使用五點采樣法選取研究區(qū)內(nèi)25點位(見圖3a),單個樣本點采集10次并以均值作為標(biāo)準(zhǔn)數(shù)據(jù),使用視場角25°、長1 m的光纖探頭于棉花冠層上方1.5 m獲取350~2 500 nm光譜數(shù)據(jù),結(jié)合成像光譜儀中心波長分離相同波段地物光譜儀采集數(shù)據(jù),棉花冠層光譜獲取結(jié)果見圖3b,地物光譜儀(ASD)數(shù)據(jù)分離結(jié)果與成像光譜儀(Rikola)數(shù)據(jù)對比見圖 3c。
圖3 棉花冠層光譜數(shù)據(jù)獲取
遙感影像質(zhì)量評價指標(biāo)通常有以下3類[13]:全參考影像質(zhì)量:表征原始影像與失真影像之間的質(zhì)量差異;半?yún)⒖加跋褓|(zhì)量:僅使用表征影像特征的參數(shù)(如平均值、方差等)描述影像質(zhì)量;無參考影像質(zhì)量:該方法僅使用失真影像參與計算。盡管全參考影像質(zhì)量指標(biāo)在計算效率上缺少優(yōu)勢,但該方法保留了所有原始信息,計算結(jié)果更準(zhǔn)確、穩(wěn)定,在機(jī)載高光譜影像多類別失真研究中全參考影像評價標(biāo)準(zhǔn)是較為理想的選擇,本文以全參考影像質(zhì)量評價方法開展研究。
1.4.1 影像失真類型
根據(jù)影像采集及數(shù)據(jù)獲取結(jié)果并結(jié)合遙感研究,本文將制作失真類型歸為以下幾類:噪聲和模糊失真,該類失真產(chǎn)生于成像光譜儀系統(tǒng)噪聲和對焦過程[14];產(chǎn)生于無人機(jī)姿態(tài)變化導(dǎo)致的運動模糊[15];因掃描方式和曝光不當(dāng)導(dǎo)致的條帶狀噪聲[16],以及光學(xué)器件退化導(dǎo)致光譜變化的失真[17]。為模擬不同程度的各類噪聲樣本,通過以下方法控制失真強度并構(gòu)建模擬樣本:
1)白噪聲失真。高光譜影像存在多個連續(xù)波段,在隨機(jī)選取波段上添加均值為0的噪聲信號,其標(biāo)準(zhǔn)差從0.001 5起開始以步長0.000 12上升至0.007 5,共50個層級,并限制抽取波段占比分別為總波段數(shù)的30%、50%和70%。
2)散焦模糊失真。通過卷積處理使圖像模糊,卷積核大小為3×3、5×5、7×7,控制出現(xiàn)模糊的波段占總波段數(shù)由1%上升至50%共50個層級。
3)運動模糊失真??刂剖д娌ǘ握伎偛ǘ螖?shù)由1%上升至50%共50個層級,限制運動產(chǎn)生的像素位移大小為4、8、12個像素,位移方向隨波段占比的增加以極坐標(biāo)90°方向出發(fā)依次加1°。
4)光譜平滑失真。使用滑動窗口和階多項式擬合進(jìn)行光譜平滑,隨機(jī)抽取波段占總波段數(shù)由10%起始按1.8%步長增長至100%共50個層級,固定擬合函數(shù)窗口大小為5,分別使用3階、2階和1階多項式擬合波段光譜數(shù)據(jù)。
5)條帶噪聲失真??刂瞥霈F(xiàn)條紋噪聲的波段為總波段的1.5%至30%共50個變化范圍,當(dāng)出現(xiàn)噪聲波段位于42波段前40%時條紋增強70%,位于后60%時條紋衰減70%,單個條紋寬3個像素。控制條紋占單波段影像總行數(shù)的3%、2%、1%。
每個失真類型含3組共150個樣本,詳細(xì)描述見表2。
表2 機(jī)載高光譜影像失真類型
1.4.2 影像質(zhì)量評價指標(biāo)
對于統(tǒng)計學(xué)方法指標(biāo)構(gòu)建,均方誤差(Mean Squared Error, MSE)一般是指估計值與真值之差平方的期望值,在本文中估計值與真值分別對應(yīng)模擬噪聲影像與參考影像,在計算形式上引入方差計算用于衡量數(shù)據(jù)的偏離程度,且MSE通用于計算影像信噪比及峰值信噪比,其計算結(jié)果越小表示噪聲影像質(zhì)量越好。相對均方根誤差(Relative Root-Mean-Square Error, RRMSE)在形式上同均方根誤差類似,引入了標(biāo)準(zhǔn)差的計算方式且進(jìn)行誤差占比分析統(tǒng)一了量綱,同樣反應(yīng)噪聲對影像質(zhì)量產(chǎn)生的偏移。最大絕對差(Maximum Absolute Difference, MAD)在計算時引入絕對誤差概念,統(tǒng)計了噪聲影像相對真實影像產(chǎn)生偏離的絕對大小,在此基礎(chǔ)上計算百分比最大絕對差(Percentage Maximum Absolute Difference,PMAD)引入的歸一化處理利于各類失真樣本比較。絕對平均誤差(Mean Absolute Error, MAE)統(tǒng)計噪聲對影像全部像素產(chǎn)生的誤差偏移,直觀反應(yīng)噪聲的整體狀況。
對于光譜信息指標(biāo)構(gòu)建,最大光譜相似性(Maximum Spectral Similarity, MSS)在計算時以光譜向量進(jìn)行計算,指標(biāo)考慮高光譜影像光譜亮度質(zhì)量及光譜形狀質(zhì)量計算。最大光譜角(Maximum Spectral Angle, MSA)計算兩組光譜向量的余弦角度判斷光譜相似性,通過最大值判斷,可以計算噪聲影像內(nèi)光譜與參考影像的相似程度。最大光譜信息散度(Maximum Spectral Information Divergence)計算方法基于Kullback-Leibler距離建立,用于衡量光譜樣本內(nèi)的概率分布差異。最小皮爾森相關(guān)系數(shù)(Minimum Pearson’s correlation)計算基于Pearson相關(guān)系數(shù),用于衡量噪聲光譜向量與參考影像光譜向量間的線性相關(guān)關(guān)系。
表3 影像質(zhì)量計算指標(biāo)
高光譜影像光譜精度驗證是數(shù)據(jù)獲取的重要參考[23]。不同設(shè)備光譜曲線總體趨勢相近(見圖3c),在500~580 nm藍(lán)綠光波段內(nèi)光譜反射率基本保持一致,590~655 nm內(nèi)機(jī)載光譜數(shù)據(jù)產(chǎn)生偏離,于660~735 nm紅邊位置處擬合一致,735 nm后地物光譜儀數(shù)據(jù)與Rikola數(shù)據(jù)反射率差異保持穩(wěn)定,在880~900 nm近紅外波段地物光譜儀數(shù)據(jù)反射率下降。使用一階微分光譜分析光譜變量特征:綠峰幅值R(510~560 nm內(nèi)對應(yīng)最大反射率)、綠峰位置λ、紅谷幅值R(640~680 nm內(nèi)對應(yīng)最小反射率)、紅谷位置λ、紅邊幅值D(680~760 nm范圍內(nèi)最大一階微分值)以及紅邊位置λ,數(shù)據(jù)結(jié)果如表4。Rikola數(shù)據(jù)在543 nm附近出現(xiàn)“綠峰特征”相較地物光譜儀數(shù)據(jù)的554 nm處略有差異。兩設(shè)備于673 nm、733 nm均出現(xiàn)“紅谷”和“紅邊”特征,因設(shè)備視場角差異存在背景土壤光譜占比不一致的情況導(dǎo)致幅值偏差。750 nm后Rikola數(shù)據(jù)逐漸偏離地物光譜數(shù)據(jù),原因可能在于機(jī)載遙感數(shù)據(jù)獲取時觀測物體與采集設(shè)備和太陽間的幾何位置差異造成的二象性分布函數(shù)(Bidirectional Reflectance Distribution Function,BRDF)影響[24]。
表4 不同設(shè)備棉花冠層光譜特征值
影像質(zhì)量指標(biāo)評估通常包含指標(biāo)一致性和魯棒性[25]。為探究理想條件下不同失真類型對各指標(biāo)產(chǎn)生的影響,通過相關(guān)性分析探究適用于各失真類型的判別指標(biāo)。每一類失真包含3組模擬數(shù)據(jù)樣本,使用Pearson相關(guān)系數(shù)法進(jìn)行雙變量分析,同時進(jìn)行雙側(cè)顯著性檢驗,統(tǒng)計相關(guān)系數(shù)均值及標(biāo)準(zhǔn)差,結(jié)果如表5。分析表5可知:
表5 模擬失真樣本與影像質(zhì)量指標(biāo)相關(guān)性分析
注:無標(biāo)注表示在<0.01水平極顯著相關(guān)。*表示在<0.05水平顯著相關(guān),加粗項表示不相關(guān)。表示絕對值最大相關(guān)系數(shù)。表示絕對值最小相關(guān)系數(shù)最。為均值;為標(biāo)準(zhǔn)差;為多項式階數(shù)。
Note: No label indicates extremely significant correlations at the<0.01 levels.*indicate significant correlations at the<0.05. Bold items indicate irrelevant. indicates maximum absolute correlation coefficient. indicates minimum absolute correlation coefficient.: means mean;: means standard deviation;: denotes polynomial order.
1)對于模擬失真樣本數(shù)據(jù),除PMAD,其余指標(biāo)在對影像失真的度量上有著極好的一致性,計算結(jié)果均滿足置信度,說明本文建立的指標(biāo)對模擬影像質(zhì)量的衰退是有效的。
2)統(tǒng)計學(xué)指標(biāo)MSE、RRMSE、MAD、MAE與光譜維度指標(biāo)MSS、MSA、MSID同影像失真程度呈正相關(guān),最小Pearson系數(shù)與空間—光譜復(fù)合類指標(biāo)呈負(fù)相關(guān)。
3)白噪聲樣本:在30%波段占比下MAE相關(guān)性最高(0.999),S相關(guān)性最低(-0.868)。在50%、70%波段占比試驗結(jié)果同上,MAE分別為0.999、0.999,S分別為-0.901,-0.926。統(tǒng)計3組樣本相關(guān)性均值和標(biāo)準(zhǔn)差,對于模擬的白噪聲失真類型各指標(biāo)相關(guān)性排序為MAE>MSS>MAD>MSA>MSE、>Pearson>RRMS>F>MSID>(x,y)>(x,y)、S>S(PMAD除外)。
4)散焦模糊樣本:在3×3、7×7卷積作用下MAE相關(guān)性最高(0.989,0.976),MAD相關(guān)性最低(0.507,0.567)。在5×5卷積作用下RRMSE相關(guān)性最高(0.974),MAD相關(guān)性最低(0.573)。統(tǒng)計3組樣本相關(guān)性均值和標(biāo)準(zhǔn)差,對模擬的散焦模糊失真類型各指標(biāo)相關(guān)性排序為MAE> RRMSE>MSE、>F>(x,y)>S>MSS>MSID>Pearson>MSA>(x,y)>S>MAD(PMAD除外)。
5)運動模糊樣本:在4像素位移下,MAE相關(guān)性最高(0.987),(x,y)相關(guān)性最低(-0.508);在8像素位移下,RRMSE相關(guān)性最高(0.988),MAD相關(guān)性最低(0.658);在12像素位移下,RRMSE相關(guān)性最高(0.985),Pearson相關(guān)性最低(-0.572)。統(tǒng)計3組樣本相關(guān)性均值和標(biāo)準(zhǔn)差,對模擬的運動模糊失真各指標(biāo)相關(guān)性排序為RRMSE>MAE>MSE、>MSS>(x,y)>MSID>S>(x,y)>Pearson>S>F> MSA>MAD(PMAD除外)。
6)光譜平滑樣本:采用3階多項式時,MAE相關(guān)性最高(0.994),MAD相關(guān)性最低(0.600);采用2階多項式時,MAE相關(guān)性最高(0.990),(x,y)相關(guān)性最低為(-0.491);采用1階多項式時MAE相關(guān)性最高(0.993),S相關(guān)性最低(-0.489)。統(tǒng)計3組樣本相關(guān)性均值和標(biāo)準(zhǔn)差,對模擬的光譜平滑失真各指標(biāo)相關(guān)性排序為MAE>MSE、RRMSE、>(x,y)>MSS>MSA>(x,y)>S>MSID>Pearson> MAD>F>S(PMAD除外)。
7)條帶噪聲樣本:1%、2%行數(shù)占比時,MAE相關(guān)性最高(0.987,0.987),(x,y)相關(guān)性最低(-0.315,-0.508);在3%行數(shù)占比時,MAE相關(guān)性最高(0.990),F相關(guān)性最低(-0.439)。統(tǒng)計3組樣本相關(guān)性均值和標(biāo)準(zhǔn)差,對模擬的條帶噪聲失真各指標(biāo)相關(guān)性排序為MAE>MSE、>RRMSE>Pearson>S>(x,y)>S>MSS>MSID>MAD>MSA>F>(x,y)(PMAD除外)。
8)根據(jù)總體統(tǒng)計結(jié)果,各類影像質(zhì)量失真指標(biāo)相關(guān)性排序為:MAE>RRMSE>MSE、>MSS>F>S>(x,y)>MSID> Pearson>MSA>(x,y)>S、MAD。不難發(fā)現(xiàn),采用統(tǒng)計均值計算的指標(biāo)相關(guān)性表現(xiàn)更好,而使用極值評估的指標(biāo)相關(guān)性表現(xiàn)較弱,原因分析為高光譜影像內(nèi)多波段數(shù)據(jù)堆疊出現(xiàn)異常的極值而導(dǎo)致后者指標(biāo)有效性的下降。
針對實際噪聲樣本難以取得標(biāo)準(zhǔn)參考影像的問題,本文提出了一種數(shù)字圖像處理方法,目的是在保留盡可能多的非噪聲信息同時完成噪聲信號的過濾與補償。具體如下:
1)針對機(jī)載高光譜影像條帶噪聲,通過Sobel邊緣檢測算子完成梯度運算定位噪聲位置。
2)針對框幅式成像高光譜設(shè)備內(nèi)條帶噪聲的空間形狀,使用腐蝕和膨脹形態(tài)運算最大程度保留噪聲結(jié)構(gòu)。
3)統(tǒng)計形態(tài)學(xué)運算結(jié)果,將條帶噪聲區(qū)域保留進(jìn)行掩膜處理。
4)將原始影像與掩膜數(shù)據(jù)進(jìn)行“與”運算,得到一張存在待插值區(qū)域的高光譜影像數(shù)據(jù)。
5)遍歷像素點,判斷當(dāng)前位置是否需要插值計算,如果需要則跳轉(zhuǎn)至6)。
6)第一次插值:判斷當(dāng)前插值位置的相鄰波段是否同樣存在待插值區(qū)域,如果否則進(jìn)行相鄰波段線性插值,如果是則跳過當(dāng)前位置判斷下一位置是否需要第一次插值。
7)第二次插值:統(tǒng)計波段待插值區(qū)域條帶寬度,選用條帶外的臨近點完成缺失值填充,最后使用濾波函數(shù)完成被插值波段處的光譜維度濾波。
8)輸出原圖、插值處理圖像以及插值補償數(shù)據(jù)。部分圖像處理結(jié)果見圖4。
圖4 部分噪聲波段數(shù)據(jù)處理結(jié)果示意圖
噪聲數(shù)據(jù)源于同期獲取的航空影像,尺寸為42波段×768像素×768像素共50張(條帶噪聲為主),覆蓋棉花種植區(qū)。經(jīng)上述方法獲取降噪樣本,共計311個波段進(jìn)行插值處理,與人工統(tǒng)計的307個條帶噪聲波段誤差僅1.3%,反應(yīng)了條帶噪聲掩膜定位方法的有效性。此外,插值引入的少量白噪聲可視為混合噪聲類型。
統(tǒng)計各個波段條帶噪聲頻次以及波段占比情況。圖 5a顯示了481條噪聲信號在42個波段內(nèi)的分布情況,噪聲主要集中在波段3~9(522~573 nm)、波段27~37(763~853 nm)、波段10~26(583~753 nm)。波段1~3(503~523 nm)、波段38~42(862~903 nm)未出現(xiàn)噪聲。圖5b顯示了50張真實樣本噪聲波段統(tǒng)計結(jié)果,其中最多10個波段含條帶噪聲且至少存在3個波段噪聲。
為分析各影像失真評價指標(biāo)有效性,將樣本分別按條帶數(shù)量、噪聲波段數(shù)量進(jìn)行升序排列,使影像失真逐步增強。使用Pearson進(jìn)行相關(guān)性分析,試驗結(jié)果如表6。
表6 真實樣本下失真影像質(zhì)量評價指標(biāo)相關(guān)性分析
注:<0.01表示在該水平下極顯著相關(guān),0.01≤<0.05表示在該水平下顯著相關(guān),≥0.05表示在該水平下不相關(guān),加粗標(biāo)記。__表示絕對值最大相關(guān)系數(shù)。__表示絕對值最小相關(guān)系數(shù)最。為均值;為標(biāo)準(zhǔn)差。
Note:<0.01 indicates extremely significant correlation at this level, 0.01≤<0.05 indicates significant correlation at this level,≥0.05 indicates no correlation at this level, bolded mark. indicates maximum absolute correlation coefficient. indicates minimum absolute correlation coefficient.: means mean;: means standard deviation.
分析試驗結(jié)果可知:
1)依據(jù)條帶數(shù)量排序時,MAE相關(guān)性最高為0.753,而MAD相關(guān)性最低為0.284(<0.05)。根據(jù)試驗結(jié)果,指標(biāo)相關(guān)性從大到小順序為MAE>RRMSE>MSE>>S>(x,y)>S>MSS>MAD,PMAD、MSA、MSID、Pearson、(x,y)及F指標(biāo)不滿足顯著性檢驗被移出。
2)依據(jù)噪聲波段數(shù)量排序時,MAE相關(guān)性最高為0.465,而MAD相關(guān)性最低為0.208(<0.05)。根據(jù)試驗結(jié)果,影像質(zhì)量評價指標(biāo)相關(guān)性排序為MAE>>MSE>RRMSE>(x,y)>MSS>MAD,PMAD、MSA、MSID、Pearson、(x,y)、S及F指標(biāo)不滿足顯著性檢驗被移出。
3)根據(jù)均值、標(biāo)準(zhǔn)差計算結(jié)果,影像質(zhì)量評價指標(biāo)相關(guān)性性排序為MAE>RRMSE>MSE>>(x,y)>S>MSS>MAD。
綜上所述,對于模擬樣本集,最大絕對差MAD、最大光譜角MSA、最大光譜相似性MSID、最小皮爾森相關(guān)系數(shù)Person、光譜信息質(zhì)量度量S、空間信息質(zhì)量度量(x,y)以及光譜信息保真度F均可以評估樣本質(zhì)量變化;對于真實噪聲樣本集,上述指標(biāo)均不相關(guān)。因此對于模擬的影像失真,其指標(biāo)相關(guān)性僅作為試驗組方便結(jié)果參考與討論。
在真實樣本評測下,噪聲的隨機(jī)分布導(dǎo)致使用的15類指標(biāo)相關(guān)性均產(chǎn)生不同程度衰退。其中平均絕對誤差MAE在常見的5類失真內(nèi)相關(guān)性最高,可以避免極大或極小值對評價結(jié)果的干擾,常用于描述波段數(shù)據(jù)的平均偏離程度,評估數(shù)據(jù)整體誤差。均方誤差MSE、相對均方根誤差RRMSE的計算方法與MAE同源,對于各類噪聲的衡量同樣有效。全局信息保真度在計算時考慮了整體的樣本分布情況且進(jìn)行了歸一化處理,這對于直接評估影像失真情況很有必要。本文研究還存在以下幾點不足:1)當(dāng)前關(guān)于影像質(zhì)量計算的指標(biāo)層出不窮,本文僅選取其中一部分指標(biāo)進(jìn)行探索,指標(biāo)選取還可以繼續(xù)優(yōu)化;2)指標(biāo)對模擬樣本的評價良好,但對真實樣本評價結(jié)果出現(xiàn)較大差異,說明應(yīng)當(dāng)聚焦于實際環(huán)境下的樣本分析與研究。3)本文僅對采集的棉花光譜數(shù)據(jù)進(jìn)行了探究,地物樣本較為單一,對于大范圍的復(fù)雜背景情況并未深入,同時沒能有效解決高光譜儀噪聲的產(chǎn)生。
低空機(jī)載高光譜影像質(zhì)量評價仍面臨一些挑戰(zhàn):1)無人機(jī)高光譜影像采集時環(huán)境變化以及數(shù)據(jù)預(yù)處理方式的差異,獲取標(biāo)準(zhǔn)參考影像較為困難,如何脫離參考影像建立自動評估方法是當(dāng)前研究的一個重點;2)從真實噪聲數(shù)據(jù)統(tǒng)計結(jié)果可知,影像失真的產(chǎn)生并非全局均勻一致且單一存在,盡管在噪聲引入上通過隨機(jī)選取完成非均勻化處理,但模擬樣本與真實樣本計算結(jié)果的不一致說明樣本模擬方法并不完備;3)失真指標(biāo)可以用于評估機(jī)載高光譜影像退化但無法有效區(qū)分失真類型,多應(yīng)用于影像處理算法的評估與驗證,對于失真類型的快速鑒別可結(jié)合機(jī)器學(xué)習(xí)技術(shù)開展進(jìn)一步工作。
本研究以機(jī)載棉田高光譜影像為研究對象,實現(xiàn)對高光譜影像失真指標(biāo)進(jìn)行構(gòu)建與評估,主要結(jié)論如下:
1)利用機(jī)載高光譜數(shù)據(jù)和地面光譜數(shù)據(jù),通過植被典型光譜特征指標(biāo)(綠峰幅值R、綠峰位置λ、紅谷幅值R、紅谷位置λ、紅邊幅值D以及紅邊位置λ)定量驗證獲取數(shù)據(jù)的有效性。
2)建立覆蓋白噪聲、散焦模糊、運動模糊、光譜平滑以及條帶噪聲5類失真影像模擬樣本集,同時采用多幅噪聲數(shù)據(jù)結(jié)合掩膜定位、插值處理等數(shù)字圖像處理方法完成真實噪聲樣本集的建立。
3)相關(guān)性分析結(jié)果表明,對模擬樣本集,除百分比最大絕對差PMAD,本文建立指標(biāo)均與影像質(zhì)量顯著相關(guān)(<0.01);對真實噪聲樣本,各指標(biāo)相關(guān)性均不同程度下降,僅平均絕對誤差MAE(0.609,<0.01)、均方誤差MSE(0.459,<0.01)、相對均方根誤差RRMSE(0.502,<0.01)以及總體信息保真度(-0.471,<0.01)滿足指標(biāo)相關(guān)性要求。
[1] 童慶禧,張兵,張立福. 中國高光譜遙感的前沿進(jìn)展[J]. 遙感學(xué)報,2016,20(5):689-707.
Tong Qingxi, Zhang Bing, Zhang Lifu. Current progress of hyperspectral remote sensing in China[J]. Journal of Remote Sensing, 2016, 20(5): 689-707. (in Chinese with English abstract)
[2] 晏磊,廖小罕,周成虎,等. 中國無人機(jī)遙感技術(shù)突破與產(chǎn)業(yè)發(fā)展綜述[J]. 地球信息科學(xué)學(xué)報,2019,21(4):476-495.
Yan Lei, Liao Xiaojun, Zhou Chenghu, et al. The impact of UAV remote sensing technology on the industrial development of China: A review[J]. Journal of Geo-information Science, 2019, 21(4): 476-495. (in Chinese with English abstract)
[3] 秦占飛,常慶瑞,謝寶妮,等. 基于無人機(jī)高光譜影像的引黃灌區(qū)水稻葉片全氮含量估測[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(23):77-85.
Qin Zhanfei, Chang Qingrui, Xie Baoni, et al. Rice leaf nitrogen content estimation based on hysperspectral imagery of UAV in Yellow River diversion irrigation district[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(23): 77-85. (in Chinese with English abstract)
[4] 田明璐,班松濤,常慶瑞,等. 基于無人機(jī)成像光譜儀數(shù)據(jù)的棉花葉綠素含量反演[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2016,47(11):285-293.
Tian Minglu, Ban Songtao, Chang Qingrui, et al. Estimation of SPAD value of cotton leaf using hyperspectral images from UAV-based imaging spectroradiometer[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(11): 285-293. (in Chinese with English abstract)
[5] 高林,楊貴軍,于海洋,等. 基于無人機(jī)高光譜遙感的冬小麥葉面積指數(shù)反演[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(22):113-120.
Gao Lin, Yang Guijun, Yu Haiyang, et al. Retrieving winter wheat leaf area index based on unmanned aerial vehicle hyperspectral remoter sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 113-120. (in Chinese with English abstract)
[6] 王潤生,熊盛青,聶洪峰,等. 遙感地質(zhì)勘查技術(shù)與應(yīng)用研究[J]. 地質(zhì)學(xué)報,2011,85(11):1699-1743.
Wang Runsheng, Xiong Shengqing, Nie Hongfeng, et al. Remote sensing technology and its application in geological exploration[J]. Acta Geologica Sinica, 2011, 85(11): 1699-1743. (in Chinese with English abstract)
[7] Hu B, Qian S E, Haboudane D, et al. Retrieval of crop chlorophyll content and leaf area index from decompressed hyperspectral data: The effects of data compression[J]. Remote Sensing of Environment, 2004, 92(2): 139-152.
[8] Li W, Cao Y, Chen Y. Methods research for removing the stripe noise based on AVIRIS images[C]. 2010 International Conference on Future Information Technology and Management Engineering. IEEE, 2010, 2: 107-110.
[9] Hakala T, Honkavaara E, Saari H, et al. Spectral imaging from UAVs under varying illumination conditions[C]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. International Society for Photogrammetry and Remote Sensing (ISPRS), 2013.
[10] 薛亞榮,巴特爾·巴克,羅那那,等. 塔城地區(qū)棉花生育期需水量變化的氣候響應(yīng)[J]. 干旱區(qū)研究,2018,35(5):1192-1198.
Xue Yarong, Bake Batur, Luo Nana, et al. Climate response to water demand of cotton plant in growing season in tacheng prefecture[J]. Arid Zone Research, 2018, 35(5): 1192-1198. (in Chinese with English abstract)
[11] I P?l?nen, Saari H, Kaivosoja J, et al. Hyperspectral imaging based biomass and nitrogen content estimations from light-weight UAV[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2013, 8887(3): 521-525.
[12] 龍翔,趙慶展,王學(xué)文,等. 基于機(jī)載高光譜端元提取分析棉花生長期光譜變化[J]. 新疆農(nóng)業(yè)科學(xué),2021,58(7):1207-1216.
Long Xiang, Zhao Qingzhan, Wang Xuewen, et al. Analysis of spectral change of cotton during growth period based on endmember extraction of UAV hyperspectral image[J]. Xinjiang Agricultural Sciences, 2021, 58(7): 1207-1216. (in Chinese with English abstract)
[13] 張立福,彭明媛,孫雪劍,等. 遙感數(shù)據(jù)融合研究進(jìn)展與文獻(xiàn)定量分析(1992—2018)[J]. 遙感學(xué)報,2019,23(4):603-619.
Zhang Lifu, Peng Mingyuan, Sun Xuejian. et al. Progress and bibliometric analysis of remote sensing data fusion methods (1992-2018)[J]. Journal of Remote Sensing, 2019, 23(4): 603-619. (in Chinese with English abstract)
[14] 張飛艷,謝偉,林立宇,等. 基于小波域自然影像統(tǒng)計特性的無參考遙感影像質(zhì)量評價[J]. 電子與信息學(xué)報,2011,33(11):2742-2747.
Zhang Feiyan, Xie Wei, Lin Liyu, et al. No-reference remote sensing image quality assessment based on natural scene statistical in wavelet domain[J]. Journal of Electronics and Information Technology, 2011, 33(11): 2742-2747. (in Chinese with English abstract)
[15] 李喆,李建增. 小型無人機(jī)模糊圖像復(fù)原問題分析[J]. 兵器裝備工程學(xué)報,2019,40(3):165-168.
Li Zhe, Li Jianzeng. Analysis of blurred image restoration for small UAV[J]. Journal of Ordnance Equipment Engineering, 2019, 40(3): 165-168. (in Chinese with English abstract)
[16] Zhao Y Q, Yang J. Hyperspectral image denoising via sparse representation and low-rank constraint[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 53(1): 296-308.
[17] Liao L B, Jarecke P J, Gleichauf D, et al. Performance characterization of the hyperion imaging spectrometer instrument[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2000, 4135: 264-275.
[18] 劉迪,李迎春. 基于深度學(xué)習(xí)和人眼視覺系統(tǒng)的遙感圖像質(zhì)量評價[J]. 激光與光電子學(xué)進(jìn)展,2019,56(6):161-169.
Liu Di, Li Yingchun. Quality assessment of remote sensing images based on deep learning and human visual system[J]. Laser and Optoelectronics Progress, 2019, 56(6): 161-169. (in Chinese with English abstract)
[19] Lu Y B,Liu W Q,Zhang Y J, et al. An adaptive hierarchical savitzky-golay spectral filtering algorithm and its application[J]. Spectroscopy and Spectral Analysis, 2019, 39(9): 2657-2663..
[20] Christophe E, Leger D, Mailhes C. Quality criteria benchmark for hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(9): 2103-2114.
[21] Zhou W, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.
[22] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]. IEEE Transactions on Communications, 1995, 43(12): 2959-2965.
[23] 束美艷,顧曉鶴,孫林,等. 基于新型植被指數(shù)的冬小麥LAI高光譜反演[J]. 中國農(nóng)業(yè)科學(xué),2018,51(18):3486-3496.
Shu Meiyan, Gu Xiaohe, Sun Lin, et al. High spectral inversion of winter wheat LAI based on new vegetation index[J]. Scientia Agricultura Sinica, 2018, 51(18): 3486-3496. (in Chinese with English abstract)
[24] Andreas B, Helge A, Luis A, et al. Angular dependency of hyperspectral measurements over wheat characterized by a novel UAV based goniometer[J]. Remote Sensing, 2015, 7(1): 725-746.
[25] 張應(yīng)剛,余先川,張林,等. 多源遙感影像融合質(zhì)量性能評估研究[J]. 制造業(yè)自動化,2019,41(7):139-147.
Zhang Yinggang, Yu Xianchuan, Zhang Lin, et al. Research on multi-source remote sensing image fusion quality assessment[J]. Manufacturing Automation, 2019, 41(7): 139-147. (in Chinese with English abstract)
Construction of the hyperspectral image distortion evaluation index for low altitude UAVs
Zhao Qingzhan1,3,4, Liu Hanqing2,3,4, Tian Wenzhong2,3,4, Wang Xuewen1,3,4
(1.,,832003,;2.,,832003,; 3.,832003,;4.,832003,)
The rapid development of UAV equipment provides a new remote sensing data acquisition platform. The acquisition of airborne hyperspectral image data generally includes three main steps: image acquisition, image preprocessing and image splicing. The acquired data is obtained by segment registration after wave first, and the data quality is crucial to the generation effect of subsequent orthophoto images. Most of the current studies are based on the direct interpretation of Orthophoto images, and it is impossible to avoid the distortion of Orthophoto images caused by the anomalies caused by the previous data acquisition or data preprocessing. The process of remote sensing data acquisition and transmission in natural environment is interfered by many factors, which results in some errors between the collected data and the actual situation. During data acquisition of hyperspectral imaging system of UAV, image distortion, such as white noise and stripe noise, will be caused due to route change and solar irradiance change, which seriously interferes with the acquisition of aerial images. How to establish effective evaluation indicators to guide the quality interpretation of aerial images is a matter of concern. In order to solve this problem, this study uses the ground object spectrometer (350-2 500 nm) and airborne imaging spectrometer (502.56-903.2 nm) to obtain the canopy spectrum of cotton crops in the study area .The aerial image size is 42 bands× 768 pixel×768 pixel. Combined with the central wavelength of the imaging spectrometer, the spectral data of the ground object spectrometer with the same half wave width are separated for spectral information comparison. Analyze the spectral characteristic positions and amplitudes of typical vegetation, such as green peak, red edge and red valley, to verify the quality of spectral information and ensure the accuracy of spectral information acquisition of reference images. Referring to previous research contents and actual data acquisition results, the main distortion types are locked, and the collected high-quality reference images are sequentially generated into five types samples of different degrees, including white noise, defocus blur, motion blur, spectral smoothing and stripe noise, through digital image processing technology. Each type includes 150 samples and a total of 750 samples, Based on the statistical results of the actual noise samples, a total of 50 noise sample sets (stripe noise and mixed white noise) and reference images were constructed by using morphology and interpolation processing. According to the characteristics of hyperspectral images, 3 categories of 15 indexes for calculating the spatial information, spectral information and spatial spectral composite quality of images covering the band are established. With the help of multiple types of samples with different degrees of distortion, the effectiveness of the indexes is evaluated by using the correlation analysis method. The correlation analysis of the indexes is carried out in combination with the two categories of samples. The results show that the each image quality calculation index proposed in this paper was significantly correlated with the deterioration of image quality (<0.01). The correlation of all indicators for real noise samples has decreased to varying degrees. Only four indicators, mean absolute error MAE (0.609,<0.01), mean square error MSE (0.459,<0.01), relative root mean square error RRMSE (0.502,<0.01) and overall information fidelity(-0.471,<0.01) meet the correlation analysis. The research results can provide reference for the quality evaluation of low altitude airborne hyperspectral image data and the quality analysis and distortion index selection in the image processing process.
UAV; hyperspectral; remote sensing; image distortion; evaluation index
10.11975/j.issn.1002-6819.2022.20.008
TP732;TP751
A
1002-6819(2022)-20-0067-10
趙慶展,劉漢青,田文忠,等. 低空無人機(jī)高光譜影像失真評價指標(biāo)構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報,2022,38(20):67-76.doi:10.11975/j.issn.1002-6819.2022.20.008 http://www.tcsae.org
Zhao Qingzhan, Liu Hanqing, Tian Wenzhong, et al. Construction of the hyperspectral image distortion evaluation index for low altitude UAVs[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 67-76. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2022.20.008 http://www.tcsae.org
2022-05-03
2022-08-25
中央引導(dǎo)地方科技發(fā)展專項資金項目(201610011);新疆生產(chǎn)建設(shè)兵團(tuán)科技計劃項目(2017DB005)
趙慶展,教授,研究方向為農(nóng)業(yè)信息化、空間信息系統(tǒng)集成與服務(wù)。Email:zqz_inf@shzu.edu.cn