李斯特, 孫旭東，張紅旗，徐鳳強，付先平，2

(1.大連海事大學 信息科學技術學院, 遼寧 大連 116026; 2.鵬城實驗室，廣東 深圳 518033)

0 引言

目前水下機器人大部分是通過傳統(tǒng)RGB相機來采集水下圖像進行目標檢測的，所運用的主流檢測算法主要有基于傳統(tǒng)圖像處理方法[1-3]的目標檢測算法和YOLO[4]等基于深度學習的目標檢測算法，其對水下目標的檢測速度與精度都達到了較高的水平。但在動態(tài)渾濁、背景復雜或檢測目標具有保護色的情況下，利用傳統(tǒng)RGB相機進行采集檢測時，檢測精度都有了較為明顯的下降，檢測過程變得十分困難。

近年來，高光譜圖像(HIS， hyperspectral image)因能提供比傳統(tǒng)RGB圖像更豐富的信息而受到廣泛關注。HSI是一組三維數(shù)據集，由數(shù)百個光譜波段組成，每個波段都記錄了場景對特定電磁波的反射率，其成像波段覆蓋紫外、可見光、近紅外和中紅外波段，提供了豐富的光譜信息，將高光譜技術應用到水下環(huán)境的目標檢測中，可以幫助我們改善在一些復雜水下環(huán)境中的檢測情況?；诟吖庾V技術的目標檢測算法有很多，例如光譜匹配濾波[5](SMF)算法、異常檢測(RX)算法[6]、正交子空間投影[7](OSP)算法以及由Harsanyi提出的約束能量最小化[8](CEM, constrained energy minimization)算法等。而CEM算法是一種僅根據已知目標的光譜信息，就可以表現(xiàn)出良好性能的檢測算法，適合在背景復雜、先驗條件不足的水下環(huán)境中使用，符合水下機器人在海產品養(yǎng)殖區(qū)域內的水下目標檢測需求。

高光譜圖像處理技術已經成功地應用于醫(yī)學影像處理[9]、產品質量檢驗[10]、環(huán)境監(jiān)測[11]等方面。但國內外有關運用在水下機器人上的高光譜目標檢測方法的研究目前進展并不多，其主要原因有以下兩點：第一，高光譜圖像分辨率較高，數(shù)據量較大，根據其成像特征，高光譜圖像具有較高的時間復雜度和空間復雜度，相鄰波段之間也有較高的相關性，其成像速度、計算速度和傳輸速度都比較慢，不適合水下設備進行實時的目標檢測；第二，由于高光譜技術在針對水下目標的軍事鄰域和經濟領域上均具有較高的戰(zhàn)略意義，其技術開放程度較低。

現(xiàn)有的有關水下機器人的高光譜研究方向主要分為海底礦物勘測、海底珊瑚礁檢測以及海底生物棲息地勘測等方面。挪威大學的團隊為了研究水下高光譜成像儀(UHI, underwater hyper-spectral imager)[12]在海洋礦物勘探中的適用性，將該成像儀安裝在無纜水下機器人(AUV, autonomous underwater vehicle)和遙控水下機器人(ROV, remote operated vehicle)上對海底行進了勘測。Daniel L等人設計了一個以補償光在水中衰減的光傳播模型為基礎的原位高光譜系統(tǒng)[13]，并將此高光譜系統(tǒng)安裝在了AUV上，通過在澳大利亞大堡礁珊瑚礁調查期間獲得的數(shù)據證明了該系統(tǒng)安裝在AUV上校正數(shù)據的實用性。Ines Dumke等人設計了一個用于海底底棲巨型動物分類[14]的UHI，并使其搭載在水下機器人上進行了水下實驗，其中，該UHI是根據特定的波段反射率特征來識別不同的海洋生物從而進行分類，但是其效率較低，處理速度和成像速度較慢，不適合水下捕撈機器人對于海參、扇貝等小型海產品的實時檢測和抓捕。A.C.R.Gleason[15]利用濾光片輪選取6個10 nm寬的波段圖像，其中基于568 nm和546 nm波段進行的圖像歸一化差分比的新算法可以從非光合背景中分割出光合生物(珊瑚和藻類)，結果表明這樣的方法可以從圖像背景中識別出珊瑚和藻類一般覆蓋類別。該實驗驗證了在海底珊瑚檢測方面利用若干波段組合的光譜相機可以比普通RGB相機更加高效，但是上述實驗不具有普遍性，并不能在水下目標檢測中重復實現(xiàn)該過程。

所以，針對現(xiàn)如今水下高光譜目標檢測中遇到的問題，我們需要找到一種能夠有效地篩選出對目標檢測效果較好波段的波段選擇[16]方法，來去除冗余數(shù)據，提升光譜數(shù)據的采集速度和檢測速度，從而提高水下高光譜目標檢測的精度和效率，以達到水下機器人可以實時檢測與抓捕海產品的需求。因此，本文提出了一種基于最佳鄰域重構指數(shù)(ONRIF, optimal neighborhood reconstruction index factor)的水下高光譜目標檢測方法。整體流程如圖1所示，首先，對高光譜原圖像進行初步波段選擇，根據最佳鄰域重構法[17]中的線性重構思想，選出信息量高的初步波段組合；其次，對初步波段組合，進行二次波段選擇，以達到去除相關性的優(yōu)化，篩選出信息量較高且波段間冗余度低的最佳波段組合；最后，將采集到的最佳波段組合中各單波段圖像進行融合，用融合圖像代替全波段圖像進行CEM檢測，從而完成整個檢測流程。另外，在相同的檢測環(huán)境下，可以使用單色相機與濾光片結合的形式采集最佳波段組合的單波段圖像，其采集速度可以接近普通RGB相機的水平。這樣的采集系統(tǒng)搭載在水下機器人上，可以直接采集水下目標的單波段光譜圖像集合，從而大幅度提高采集光譜圖像的效率。本文所提出的方法，解決了傳統(tǒng)高光譜檢測方法中數(shù)據量過大和處理速度過慢的問題，其采集到的圖像保留了檢測目標的重要信息，比普通RGB相機所采集到的圖像具有更高的分辨率、更豐富的信息，可以基本滿足水下機器人在背景復雜或檢測目標具有保護色的情況下對于海產品的檢測和抓捕的需求。

圖1 基于最佳鄰域重構指數(shù)的水下高光譜目標檢測流程圖

1 ONRIF方法

由于高光譜數(shù)據存在波段相關性強和數(shù)據冗余度高的特點，使用傳統(tǒng)光譜成像設備進行采集和檢測時會花費大量時間，且數(shù)據冗余還會對檢測結果造成負面影響，難以滿足水下機器人對于海產品的實時檢測需求。所以通過波段選擇方法選出具有良好檢測能力的波段組合極為重要。下面是本文提出的最佳領域重構指數(shù)的波段選擇方法的具體實施步驟：

1)根據高光譜圖像數(shù)據Ω建立其對應矩陣X，通過奇異值分解X=U∑V*，再將所得的奇異值矩陣∑與右奇異向量矩陣的轉置矩陣VT相乘，Y=∑VT，得出低維表示矩陣Y。

(1)

其中:x為任意常數(shù)，τ為超參數(shù)。再令輔助變量L∈Rd×d×d為：

(2)

其中：l、r、j為枚舉變量，1≤l≤j≤r≤d為取值范圍，Z為優(yōu)化變量。

3)對式(2)進行最小二乘法求解，得到：

L1,r,j=([Y1,Yr]T[Y1,Yr])-1[Y1,Yr]Yj

(3)

(4)

(5)

其中:Sij表示波段i和j的協(xié)方差，其公式為：

(6)

最后，篩選出低相關性的最佳波段組合Ωb2。

本文所提出的ONRIF方法，首先基于線性重構思想，利用鄰域重構尋優(yōu)的方式對相鄰波段的信息量進行對比，從而篩選出高信息量的初步波段組合；然后以波段間信息量與相關系數(shù)為基準，對初步波段組合的波段相關性進行衡量，挑選出波段間冗余程度較低且綜合信息量較高的最佳波段組合，是一種兼顧信息量和波段間相關性的波段選擇方法。

2 CEM算法

通過上述ONRIF方法得到最佳波段組合后，根據本文所提出的方法，接下來將對篩選出來的單波段圖像進行波段融合，然后利用CEM算法對融合后的圖像進行檢測。CEM算法是一種僅知道目標光譜信息，在背景較為復雜或不能掌握背景先驗信息的情況下，就可以對目標物進行探測的算法，該算法的特點十分符合水下機器人在水下目標檢測時的需求。CEM算法主要通過線性約束最小方差波束形成器，提取特定目標方向的信號并且衰減其他方向的信號干擾，進而達到突在圖像中目標物的地物信息并且壓制背景信息的效果。

若{r1,r2,...,rN}是高光譜圖像中的像元矢量，N是圖像中的總像元數(shù)，每個像元則可以表示為ri=[ri1,ri2,...,riL]T為L維列向量，其中L是波段數(shù)，1≤i≤N。假設d是待檢測目的目標光譜信號，是已知的先驗信息。而CEM算法就是根據所設計的FIR線性濾波器，使其在滿足下面約束條件式(7)的情況下，濾波器所得到的輸出能量最小。

(7)

式中，w=[w1,w2,...,wL]T是由濾波系數(shù){w1,w2,...,wL} 構成的L維列向量。

假設上述FIR濾波器對應輸入ri的輸出為yi，即：

(8)

則，相對的所有輸入{r1,r2,...,rN}，濾波器輸出的平均能量為：

(9)

(10)

且受限于dTw=1，用拉格朗日乘數(shù)法來求解，構造下列拉格朗日函數(shù)：

F(w)=wTRw+λ(dTw-1)

(11)

式中,λ是拉格朗日乘子。為了最小化上述函數(shù)，讓其對w求偏導后等于零。

(R+RT)w+λd=2Rw+λd=0

(12)

其中：R為對稱矩陣。

再求解式(12)得：

(13)

上式再結合式(7)可以得到λ：

(14)

即可知式(10)最優(yōu)解為：

(15)

所以可以得到CEM濾波器δCEM(r)：

(16)

上述濾波器，可以在檢測到所設定的感興趣目標的同時，使其他未知信號引起的能量最小化輸出。

通過后續(xù)CEM檢測實驗證明，本文提出的ONRIF方法，能夠在保證檢測精確度的同時，有效地減少光譜數(shù)據的冗余程度和提高檢測時的處理速度，較好地匹配了CEM檢測算法，提高了整體的檢測效率。

3 實驗

本文實驗過程主要分為3個部分。第一部分，針對水下高光譜相機采集的全波段海參圖像進行波段選擇，分別使用最佳鄰域重構法(ONR, optimal neighborhood reconstruction)、最佳指數(shù)法(OIF, optimal index factor)[18]以及本文提出的ONRIF方法，得到幾種方法所對應的最佳波段組合；第二部分，針對第一部分得到的最佳波段組合進行波段融合，再對融合后的圖像以及原圖像進行CEM檢測，根據檢測實際效果進行對比；第三部分，在同一場景下，采集一次針對目標物的全波段高光譜圖像，進行波段選擇并記錄所得的最佳波段組合，將其標為所要采集的單波段集合，之后只采集別的同類目標物所對應標定集合中的單波段，然后再進行融合與檢測。

3.1 波段選擇

首先進行水下海參高光譜圖像的采集，采集到的圖像均含有256個波段，其光譜范圍從380～1 020 nm，尺寸為775×696。接下來，根據3種波段選擇方法進行最佳波段組合的選擇。

本文所使用的波段選擇方法分兩步完成，其中第一步是基于ONR算法的線性重構思想進行的，而針對第一步中初步波段選擇的波段數(shù)量，進行了檢測實驗分析，將一張采集到的海參圖像作為例圖，僅通過初步波段選擇后，提取其中部分波段來進行檢測效果對比，如圖2所示。

圖2 不同波段數(shù)量組合檢測對比圖

由圖2可知，分別從原圖像中選取了10種不同波段數(shù)量的初步波段選擇的波段組合進行了檢測對比,其中考慮到初步波段選擇數(shù)量太大則會影響檢測速度以及增大數(shù)據冗余量，所以最多選取50波段。圖2中所使用的檢測算法是CEM算法，檢測圖中亮色部分是關于目標物的突出展示，越亮則表示效果越好；暗色部分是對背景信息進行的抑制作用，與目標物對比越明顯則表示抑制效果越好。通過檢測效果圖對比，30波段的檢測情況在突出目標物、抑制背景以及波段數(shù)量的綜合考量下效果最好。

由于只進行檢測效果圖的對比，所得出的結論較為主觀，本文還計算了各種波段數(shù)量檢測結果的AUC(area under curve)值，如圖3所示。(作為描述檢測率與虛警率關系的ROC曲線與坐標軸圍成的面積稱為AUC，AUC的值就是處于ROC 曲線下方面積大小的數(shù)值。通常情況，AUC的值介于0.5～1.0之間，較大的AUC值就代表了該檢測方法擁有較好的檢測性能。)

通過圖3可以看出，AUC值的波動到25波段以后較為平穩(wěn)，且30波段檢測的AUC值最高。所以綜合檢測效果圖的對比和AUC值的對比，30波段的檢測性能較好，最終選擇30波段為初步波段選擇的波段數(shù)量。

圖3 波段數(shù)量與檢測結果AUC值的趨勢圖

接下來進行不同波段選擇方法的對比。圖4為對比實驗所使用的水下海參高光譜圖像原圖像以及對目標物標定的掩模。

圖4 波段選擇實驗用圖

表1是基于ONR算法對圖像進行波段選擇的結果。所得波段組合是在全波段中根據相鄰波段的信息量比較后得出的包含30個波段的波段組合，其綜合信息量很高。但是在所得到的波段組合中，很多波段極為接近。從波段編號45到編號66，分別有21個依次相鄰的波段。而在高光譜數(shù)據中，相鄰波段間的相關性往往高于非相鄰波段[19]。表2是表1中10個較為接近的波段的相關系數(shù)矩陣。

從表2中可以看出，其相鄰波段具有較高的波段相關性，均超過0.965，最高達到0.979。通常情況下波段組合中相鄰波段越多，波段間冗余信息就越多，這樣的情況會增大高光譜數(shù)據的冗余量，給檢測和采集帶來了不必要的負擔，同時也會影響后續(xù)數(shù)據處理的效率，所以需要進行去除相關性的優(yōu)化。

表1 ONR波段組合

表3與表4，分別是利用ONRIF算法進行去相關性優(yōu)化后得到的最佳波段組合及其對應的相關系數(shù)矩陣。與表2對比可以看出，ONRIF所得的最佳波段組合的波段間的相關系數(shù)有所下降，表明其結果的冗余程度有所下降，并且所得的波段組合的波段數(shù)量有所下降，在一定程度上又降低了總數(shù)據量。

表2 ONR波段組合部分波段相關系數(shù)矩陣

表3 ONRIF波段組合

表4 ONRIF波段組合的波段相關系數(shù)矩陣

由表2～4對比可以看出，ONRIF的初步波段選擇主要以信息量為判別標準，而經過二次波段選擇后，在去除相關性方面取得了一定的效果，減少了光譜數(shù)據中很多相關性較高的波段，在一定程度上減輕了高光譜數(shù)據的冗余度，有利于之后的檢測。

表5與表6是對原圖像直接采用OIF算法進行波段選擇所得的波段組合及波段組合中波段間相關系數(shù)矩陣。

表5 OIF波段組合

表6 OIF波段組合的波段相關系數(shù)矩陣

由表5～6可以看出，OIF算法主要是根據波段間相關性系數(shù)和之比得出的值進行衡量的，最終得出的波段組合中波段間相關系數(shù)很低。

3.2 融合檢測

融合檢測是將波段選擇出來的波段組合中各波段融合后再進行檢測的方法。本節(jié)實驗是根據3.1中不同波段選擇方法得出的波段組合，將挑選出的各單波段進行融合處理再進行檢測。圖5是3.1中原圖像以及各方法波段組合融合后圖像的對比(融合圖為假彩色圖像)，可以看出本文方法在融合后所展現(xiàn)出來的紋理細節(jié)更加接近原圖。

圖5 波段融合對比圖

圖6是對原圖像直接進行CEM檢測和對幾種不同波段選擇方法處理后融合所得圖像進行CEM檢測的對比圖。通過對比可知，本文方法得出圖像的檢測效果與原圖直接檢測的效果所對比，在突出目標物的展示方面，具有較好的效果；同時對于背景信息的抑制方面，比對比方法所得圖像進行檢測時的抑制效果更好。

圖6 檢測效果對比圖

關于各方法最終檢測效果優(yōu)劣的判定，本文結合了各方法檢測結果的AUC值，并進行了對比，將其作為最終的定量檢測結果，如表7所示。

表7 檢測結果的定量分析對比

通過表7定量分析對比可知，本文方法檢測結果的AUC值均大于所對比的幾種檢測結果，表現(xiàn)出了較好的檢測效果。其中，全波段圖像的檢測結果的AUC值最低，導致這一情況的主要原因，在于全波段檢測中，過多的冗余波段，會增加很多重復的光譜信息，不僅降低了檢測效率，還對檢測結果起到了負面作用。這一現(xiàn)象也說明了通過波段選擇方法選取最佳波段組合進行融合檢測的方法，在原圖像冗余程度較高的情況下更具有優(yōu)勢。

另外，本文還進行了檢測時間對比，分別是對原圖像直接檢測的時間和對最佳波段組合融合圖像檢測的時間。從表8中可以看出，對波段選擇處理后的融合圖像進行檢測，可以大幅度減少檢測時間，顯著地提高了在檢測速度方面的效率。

表8 檢測時間對比

3.3 單波段快速采集檢測

在檢測環(huán)境不改變的情況下，進行了實驗來驗證快速采集同類目標物單波段集合的方法對于水下目標檢測的有效性。其主要過程分為3個部分，分別為選取最佳波段、采集單波段圖像、單波段圖像融合檢測，主要步驟如下：

首先，從實驗場景中針對目標物采集一次高光譜原圖像，對原圖像進行本文所采用的波段選擇方法，得到最佳波段組合，記錄組合中各波段的光譜信息；然后，直接采集同一場景下別的同類目標物的單波段圖像，所采集的單波段圖像是根據上一步最佳波段組合的光譜信息而定；最后，對所采集的單波段圖像進行融合檢測。

對于采集單波段圖像的方法，可以使用匹配目標物最佳波段組合中各單波段所對應的濾光片，將其與單色相機相結合進行采集圖像[20]。本文使用的水下光譜采集系統(tǒng)，由GRASSHOPPER3 USB3攝像機、濾光片轉輪、15個帶寬10 nm截止深度OD3的窄帶通濾光片以及用于控制相機和濾光片轉輪的單片機構成。這樣的采集方式，其采集速度可以達到接近普通RGB相機的水平，大幅度提高水下機器人采集光譜圖像的效率。圖7為此水下光譜采集系統(tǒng)搭載在水下機器人上采集的4組單波段集合圖像以及所對應的波段融合圖與融合檢測圖。從采集情況和檢測效果可以看出，單波段快速采集方法對于水下目標檢測來說具有一定的可行性，不過對于檢測環(huán)境有一定要求，需要在相同環(huán)境下進行，且光源、渾濁度等環(huán)境狀況不發(fā)生較大改變。而這樣的情況較為符合海產品養(yǎng)殖區(qū)域的情況，滿足水下機器人搭載此光譜采集系統(tǒng)進行水下目標的檢測與抓捕的要求。

圖7 單波段以及融合檢測圖

4 結束語

本文提出的基于最佳領域重構指數(shù)的水下高光譜目標檢測方法，根據波段選擇得出的最佳波段組合進行融合檢測，可以減少數(shù)據冗余量且提高檢測速度，并且與原圖像檢測效果接近。同時本文提出的快速同類目標物單波段采集方法，可以解決在相同場景下針對同類目標物檢測時，光譜數(shù)據采集速度過慢的問題，能夠大幅度減少光譜數(shù)據采集的時間。將本文提出的兩種方法相結合，可以改善水下機器人在一些復雜水下環(huán)境中對于海產品檢測的情況，基本滿足其在水下工作的需求。