王愛(ài)麗 張宇梟 吳海濱 王瑩
摘 要:針對(duì)人工設(shè)計(jì)的中低層特征難以對(duì)LiDAR數(shù)據(jù)進(jìn)行高精度分類以及泛化性能較低等問(wèn)題,提出了一種基于集成卷積神經(jīng)網(wǎng)絡(luò)的LiDAR數(shù)據(jù)分類方法。它是基于深度學(xué)習(xí)模型與隨機(jī)子空間的集成學(xué)習(xí)框架。通過(guò)有放回的隨機(jī)抽取LiDAR訓(xùn)練集構(gòu)成子集,以深度卷積神經(jīng)網(wǎng)絡(luò)模型為單個(gè)子分類器,最后采用多數(shù)投票法確定最終樣本的類別,以獲得更好的分類精度。實(shí)驗(yàn)結(jié)果表明,所提方法在Bayview Park和Houston兩個(gè)數(shù)據(jù)集上分別取得了93.31%和80.95%的總體分類精度,與其他3種分類算法相比具有更好的分類效果,由此證明該網(wǎng)絡(luò)在擁有較高分類精度的同時(shí)還具有良好的泛化能力。
關(guān)鍵詞:LiDAR;圖像分類;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);集成學(xué)習(xí)
DOI:10.15938/j.jhust.2021.04.019
中圖分類號(hào):TP391
文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1007-2683(2021)04-0138-08
Abstract:Aiming at the problems of artificially designed middle and low-level features that are difficult to classify LiDAR data with high precision and low generalization performance, a LiDAR data classification method based on ensemble convolutional neural network is proposed. It is an integrated learning framework based on deep learning models and random subspaces. The LiDAR training set is randomly selected with replacement to form a subset, the deep convolutional neural network model is used as a single sub-classifier, and the majority voting method is used to determine the category of the final sample to obtain better classification accuracy. The experimental results show that the proposed method achieves 93.31% and 80.95% overall accuracy on the Bayview Park and Houston data sets, respectively. Compared with the other three classification algorithms, it has a better classification effect, which proves that the network has good generalization ability while having high classification accuracy.
Keywords:LiDAR; image classification; deep learning; convolutional neural network; ensemble learning
0 引 言
激光雷達(dá)(light detection and ranging, LiDAR)是一種發(fā)射激光束并接收回波獲取目標(biāo)三維信息的系統(tǒng)[1]。LiDAR系統(tǒng)獲取的點(diǎn)云數(shù)據(jù)通過(guò)去噪和柵格化處理可衍生出LiDAR數(shù)字表面模型(digitial surface model, DSM)[2],是一種包含地表建筑物、橋梁和樹(shù)木等高度的地面高程模型,在區(qū)分高度不同的地物上有極大優(yōu)勢(shì),更適合應(yīng)用于地物分類研究。
傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)模型的隱含層都只包含一層節(jié)點(diǎn),有些甚至無(wú)節(jié)點(diǎn),這些模型進(jìn)行的是淺層學(xué)習(xí)[3-4]。淺層學(xué)習(xí)在處理復(fù)雜函數(shù)和提取高階抽象特征能力有限,不能處理復(fù)雜的遙感圖像分類任務(wù),因此采用多層非線性變換方式進(jìn)行自動(dòng)提取特征的深度學(xué)習(xí)算法成為圖像處理領(lǐng)域的主流[5]。其中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建深層的網(wǎng)絡(luò)結(jié)構(gòu),具有參數(shù)多,容量大的特點(diǎn),CNN不需要復(fù)雜的預(yù)處理,它可以通過(guò)非線性變換自動(dòng)識(shí)別和提取有效的特征信息,并且泛化能力強(qiáng)[6]。所以本文將CNN運(yùn)用到LiDAR數(shù)據(jù)處理中,進(jìn)而達(dá)到對(duì)LiDAR數(shù)據(jù)的高精度分類。
為了解決訓(xùn)練樣本有限的問(wèn)題并獲得更好的泛化性能,研究人員引入了集成學(xué)習(xí)方法。集成學(xué)習(xí)結(jié)合了不同的分類器,以減少模型分類準(zhǔn)確性的方差,并提高分類模型的整體性能,在機(jī)器學(xué)習(xí)領(lǐng)域中發(fā)展良好。鮑蕊等[7]提出一種基于形態(tài)學(xué)屬性剖面高光譜遙感影像集成學(xué)習(xí)分類方法,充分利用影像的空間信息并提高分類的穩(wěn)定性。蘇健民等[8]針對(duì)高分辨遙感圖像分割問(wèn)題,提出一種基于U-Net改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò),采用了集成學(xué)習(xí)策略來(lái)提高分割精度,實(shí)現(xiàn)了端到端的像素級(jí)語(yǔ)義分割。葉秀芬等[9]提出了一種基于Dense-Unet網(wǎng)絡(luò)和集成學(xué)習(xí)的改進(jìn)語(yǔ)義分割方法,實(shí)現(xiàn)了高分辨率遙感圖像中的高壓電線一類細(xì)弱目標(biāo)的精準(zhǔn)分割。余東行[10]提出了一種聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)與集成學(xué)習(xí)的遙感影像場(chǎng)景分類算法,有效提高當(dāng)訓(xùn)練數(shù)據(jù)較少時(shí)或深層卷積神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練時(shí)遙感影像場(chǎng)景分類的精度。所以本文為了提高LiDAR數(shù)據(jù)分類精度,提出了一種基于集成卷積神經(jīng)網(wǎng)絡(luò)的新型LiDAR數(shù)據(jù)分類算法。
1 集成卷積神經(jīng)網(wǎng)絡(luò)
1.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積層利用多個(gè)卷積核,對(duì)樣本進(jìn)行特征提取,卷積核的權(quán)值向量是不同的[11]。在此之后降采樣層實(shí)現(xiàn)數(shù)據(jù)規(guī)模的降低和平移、伸縮等形變魯棒性的改善,激活函數(shù)層對(duì)輸入數(shù)據(jù)的分布做出輸出分布響應(yīng),Batch-Normalization層改善學(xué)習(xí)的性能,加快訓(xùn)練速率同時(shí)一定程度上抑制過(guò)擬合[12],Dropout層通過(guò)隨機(jī)“棄置”部分神經(jīng)元產(chǎn)生更多組合的可能,增加網(wǎng)絡(luò)的泛化能力,有效抑制過(guò)擬合現(xiàn)象。
1)卷積層
卷積層是整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的核心,卷積層可以有效地提取樣本特征。卷積核通過(guò)滑動(dòng)的方式遍歷整個(gè)樣本,進(jìn)行特征提取,局部特征提取后,即可標(biāo)記該部分特征與其他特征的位置關(guān)系。
卷積神經(jīng)網(wǎng)絡(luò)對(duì)于特征的提取是非透明的,與傳統(tǒng)的網(wǎng)絡(luò)學(xué)習(xí)方法不同,卷積核運(yùn)算有局部感知的特點(diǎn),當(dāng)學(xué)習(xí)到部分特征后,將特征輸入到接下來(lái)的映射層,之后的映射層會(huì)繼續(xù)進(jìn)行分類的學(xué)習(xí)[13]。經(jīng)過(guò)卷積層之后的樣本利用周圍樣本的空間分布特征,可以得到更高的分類精度,而且利用網(wǎng)絡(luò)獲得更好的魯棒性。
卷積層主要有兩個(gè)優(yōu)點(diǎn):第一,局部連接。一般認(rèn)為圖片中距離相近的部分相關(guān)性較大,可能形成區(qū)分性的局部特征,因此,神經(jīng)元只需要對(duì)局部進(jìn)行感知,然后在更高層將局部的信息綜合起來(lái)就得到了全局的信息,這樣就極大的減少了權(quán)重的數(shù)量;第二,權(quán)重共享。卷積層的每一個(gè)卷積核重復(fù)地作用于整個(gè)感受野中,并且每一個(gè)卷積核都共享相同的參數(shù),包括相同的權(quán)重矩陣和偏置項(xiàng)。因此,權(quán)值共享可以探測(cè)出不同區(qū)域出現(xiàn)的相同模式。
對(duì)于輸入一幅m×n的圖像,卷積核大小為a×b的矩陣w,偏置為b,則經(jīng)過(guò)卷積后的結(jié)果為
其中:*代表卷積操作;g(·)為激活函數(shù)。
常見(jiàn)的兩種傳統(tǒng)的激活函數(shù):logistics函數(shù)和tanh函數(shù)。
以及本文中采用的激活函數(shù):ReLU函數(shù)
ReLU函數(shù)具備以下特點(diǎn):①單側(cè)抑制;②相對(duì)寬闊的興奮邊界;③稀疏激活性。ReLU函數(shù)對(duì)輸入的信號(hào)進(jìn)行響應(yīng),當(dāng)輸入的信號(hào)為正時(shí)被激活,當(dāng)輸入信號(hào)為負(fù)時(shí)進(jìn)入死區(qū)。信號(hào)經(jīng)過(guò)ReLU層得到了相當(dāng)程度的稀疏[14]。
經(jīng)過(guò)比較,在深度學(xué)習(xí)領(lǐng)域ReLU函數(shù)最為常用,且被認(rèn)為是一種性能較優(yōu)的激活函數(shù),但它對(duì)于學(xué)習(xí)率的有一定要求,使用時(shí)不可以將學(xué)習(xí)速率取得過(guò)大,防止傳遞參數(shù)更新過(guò)快,使得訓(xùn)練未達(dá)到最佳就進(jìn)入死區(qū)。
2)池化層
池化層可以有效降低數(shù)據(jù)維度,池化層的輸入是卷積層的輸出[15]。卷積層輸出N個(gè)特征圖,經(jīng)過(guò)池化層,降低數(shù)據(jù)規(guī)模。常用的池化層方法有最大池化和平均池化。
本文的卷積神經(jīng)網(wǎng)絡(luò)中引入最大值池化層來(lái)稀疏化隱層數(shù)據(jù),最大池化的操作是保留池化區(qū)域的最大值,即去除矩陣內(nèi)的非極大值,而提取該區(qū)域的極大值作為池化后的代表值。池化層的輸出使網(wǎng)絡(luò)的參數(shù)大幅度減少,一般使用最大池化時(shí),核的大小為2×2,2×2大小的核可以使參數(shù)量減小到一半。有助于防止過(guò)擬合出現(xiàn)的情況,增強(qiáng)網(wǎng)絡(luò)的魯棒性。平均值池化對(duì)區(qū)域內(nèi)矩陣進(jìn)行求平均值運(yùn)算,采用平均值來(lái)稀疏非重疊目標(biāo)區(qū)域的方法。
3)Dropout層
Dropout層的作用是在網(wǎng)絡(luò)訓(xùn)練過(guò)程中將部分神經(jīng)元按照一定比率進(jìn)行丟棄[16]。丟棄的過(guò)程不是永久性的,而是暫時(shí)的,即在每個(gè)訓(xùn)練批次中,隨機(jī)使一定比例的節(jié)點(diǎn)不工作,盡管這些不工作的節(jié)點(diǎn)本次訓(xùn)練對(duì)輸出不做貢獻(xiàn)也不參與更新權(quán)值,但它們?nèi)员槐A粝聛?lái)并可能參與之后的訓(xùn)練,而在測(cè)試時(shí)則使用全部節(jié)點(diǎn)進(jìn)行預(yù)測(cè)以得到最好的精度。如圖1所示,圖1(a)表示原始神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),(b)表示Droupout網(wǎng)絡(luò)結(jié)構(gòu),原始的網(wǎng)絡(luò)結(jié)構(gòu)中所有的神經(jīng)元都參與了訓(xùn)練,而(b)中,有部分神經(jīng)元沒(méi)有參與訓(xùn)練。Dropout是一種非常有效地抑制過(guò)擬合的方法,它的使用往往能給網(wǎng)絡(luò)泛化性能帶來(lái)極大提升,對(duì)應(yīng)的公式變化如下。
1.2 集成學(xué)習(xí)
集成學(xué)習(xí)是對(duì)同一問(wèn)題使用有限個(gè)數(shù)的個(gè)體學(xué)習(xí)器進(jìn)行學(xué)習(xí),并使用一定的策略把各個(gè)子學(xué)習(xí)器的結(jié)果進(jìn)行整合[17]。子學(xué)習(xí)器的輸出影響最終系統(tǒng)的輸出。如果子學(xué)習(xí)器的表現(xiàn)良好,則最終系統(tǒng)的表現(xiàn)優(yōu)于單個(gè)學(xué)習(xí)器的表現(xiàn)[18]。集成學(xué)習(xí)的基本結(jié)構(gòu)如圖2所示。
完整的集成學(xué)習(xí)系統(tǒng)包括以下兩個(gè)步驟:
①確定子分類器。子分類器的選擇應(yīng)保證足夠大的差異,當(dāng)數(shù)據(jù)集確定時(shí),可以通過(guò)選擇不同的訓(xùn)練子集或不同的初始化參數(shù)等方式增大子分類器之間的差異性。此外,選擇不同的子分類器,從根本上增大差異性。
②最終分類結(jié)果的確定。集成系統(tǒng)是由多個(gè)子分類器構(gòu)成的,測(cè)試時(shí),測(cè)試樣本輸入集成系統(tǒng),每個(gè)子分類器都會(huì)產(chǎn)生一個(gè)判定結(jié)構(gòu),為了得到最終的分類結(jié)果,需要有固定的整合機(jī)制,常用的集合策略有多數(shù)投票法、加權(quán)投票法、平均法等。實(shí)驗(yàn)時(shí),應(yīng)選擇合理的方法進(jìn)行整合。在眾多集合策略中,多數(shù)投票法最為常用。
1.3 基于集成卷積神經(jīng)網(wǎng)絡(luò)的LiDAR數(shù)據(jù)分類
為了提高現(xiàn)有集成學(xué)習(xí)系統(tǒng)用于LiDAR分類的單個(gè)CNN分類器的魯棒性和泛化性能,本文提出了集成卷積神經(jīng)網(wǎng)絡(luò)。在集成卷積神經(jīng)網(wǎng)絡(luò)中,通過(guò)從原始訓(xùn)練樣本中隨機(jī)選擇樣本來(lái)構(gòu)建隨機(jī)子空間。最終通過(guò)多數(shù)投票法確定最終的分類結(jié)果。
X={(xi,yi),1≤i≤N}代表原始LiDAR數(shù)據(jù)集,數(shù)據(jù)集在選取訓(xùn)練集與測(cè)試集時(shí),應(yīng)盡量無(wú)重復(fù),無(wú)交叉。子集樣本從原始訓(xùn)練集中有放回、隨機(jī)的抽取樣本。隨機(jī)的抽取樣本可以保證最終模型的不同,有放回地抽取保證了每個(gè)樣本在一次訓(xùn)練中都有均等的機(jī)會(huì)被選中,使最終投票達(dá)到了“求同”的效果。以此設(shè)計(jì)適當(dāng)?shù)捏w系結(jié)構(gòu)。最后的集成方式是多數(shù)投票法。
首先對(duì)LiDAR數(shù)據(jù)集隨機(jī)抽取M個(gè)樣本作為訓(xùn)練樣本,在這M個(gè)樣本中每次隨機(jī)抽取m 本文所提出的集成卷積神經(jīng)網(wǎng)絡(luò)方法框架如圖3所示??梢钥闯?,所提出的方法包括兩部分:隨機(jī)樣本選擇和CNN分類器。隨機(jī)樣本選擇用于制定有效的多重分類器系統(tǒng)。最后,通過(guò)對(duì)單個(gè)分類器的結(jié)果進(jìn)行多數(shù)表決來(lái)獲得最終分類結(jié)果。 Div系數(shù)用來(lái)評(píng)估集成分類器的性能。Div系數(shù)是對(duì)集成分類系統(tǒng)中單個(gè)分類器之間差異的度量。單個(gè)分類器之間的差異越大,單個(gè)分類器之間的相關(guān)性越小,并且集成性能越好[19]。如果單個(gè)分類器之間的差異很小,則單個(gè)分類器的同質(zhì)化會(huì)很嚴(yán)重,這可能導(dǎo)致嚴(yán)重的系統(tǒng)同質(zhì)化,接而導(dǎo)致對(duì)某種樣本分類結(jié)果嚴(yán)重失敗。 首先,集成系統(tǒng)中任意兩個(gè)子分類器之間的Div系數(shù)計(jì)算如下: 假設(shè)兩個(gè)單個(gè)分類器的錯(cuò)誤分類樣本集分別為A和B,則可以表示為: 將集成分類器的數(shù)量定義為L(zhǎng),集合系統(tǒng)的Div系數(shù)是所有Div(i,j)值的平均值。 2 實(shí)驗(yàn)結(jié)果及分析 2.1 數(shù)據(jù)集描述 為了評(píng)估我們提出的分類方法的性能,在實(shí)驗(yàn)中使用了兩個(gè)公共LiDAR數(shù)據(jù)集[20]。第1個(gè)數(shù)據(jù)集Bayview Park由300×200像素組成,空間分辨率為1.8m。該數(shù)據(jù)集來(lái)自美國(guó)舊金山,由WorldView2的傳感器于2010年6月獲得。該地點(diǎn)定義了總共7種不同的土地覆蓋類別,分別為建筑物1、建筑物2、建筑物3、道路、樹(shù)木、土壤和海水。假彩色合成圖像如圖4所示。 第2個(gè)數(shù)據(jù)集Houston由349×1905像素組成。Houston數(shù)據(jù)集是在2013年IEEE GRSS數(shù)據(jù)融合競(jìng)賽提供的美國(guó)得克薩斯州休斯頓大學(xué)市區(qū)范圍內(nèi)獲取的。Houston數(shù)據(jù)集空間分辨率為2.5m,該數(shù)據(jù)集定義了15種土地覆蓋類別。假彩色合成圖像如圖5所示。 本實(shí)驗(yàn)分別隨機(jī)選擇了600個(gè)帶標(biāo)簽的Bayview Park和Houston數(shù)據(jù)集樣本作為訓(xùn)練樣本。其中Bayview Park數(shù)據(jù)集共有19537個(gè)樣本,Houston數(shù)據(jù)集共有15029個(gè)樣本。我們僅使用非常有限的訓(xùn)練樣本進(jìn)行訓(xùn)練。其余標(biāo)記的樣本用作測(cè)試樣本。 2.2 實(shí)驗(yàn)結(jié)果及分析 在本文中,使用CNN作為單個(gè)分類器。表1中展示了網(wǎng)絡(luò)的主要架構(gòu),共有3個(gè)卷積層,3個(gè)ReLU層和3個(gè)池化層。訓(xùn)練集的大小為600,學(xué)習(xí)率的參數(shù)設(shè)置為0.1,兩個(gè)數(shù)據(jù)集訓(xùn)練迭代次數(shù)為80。 對(duì)于訓(xùn)練樣本,首先分別從兩個(gè)數(shù)據(jù)集中所有樣本中分別隨機(jī)選擇600個(gè)帶標(biāo)簽的樣本作為原始訓(xùn)練樣本。然后從原始訓(xùn)練樣本中隨機(jī)選擇n個(gè)樣本來(lái)設(shè)計(jì)合適的學(xué)習(xí)結(jié)構(gòu)。在實(shí)驗(yàn)中,有兩個(gè)超參數(shù)值得解釋,它們是集成數(shù)量(單個(gè)分類器的數(shù)量E)和子空間大?。▎蝹€(gè)分類器中的訓(xùn)練樣本數(shù)量S)。實(shí)驗(yàn)中確定參數(shù)E=(5,10,30,50)和參數(shù)S=(200,300,400,500)。 本文中實(shí)驗(yàn)的分類結(jié)果評(píng)價(jià)指標(biāo)采用了遙感數(shù)據(jù)分類問(wèn)題中常用的總體分類精度(OA),Kappa系數(shù)(K)和多樣性(DIV)。 實(shí)驗(yàn)在配備GTX 1060 GPU的3.2GHz CPU上運(yùn)行。所有實(shí)驗(yàn)均使用不同的隨機(jī)訓(xùn)練樣本運(yùn)行了10次。表2展示了具有不同訓(xùn)練樣本的子空間的分類結(jié)果。隨著訓(xùn)練樣本數(shù)量的增加和集成數(shù)量的增加,集成系統(tǒng)的準(zhǔn)確性會(huì)提高。對(duì)于Bayview Park數(shù)據(jù)集,在集成數(shù)量和子空間樣本數(shù)量中,最高分類精度為93.91%。對(duì)于Houston數(shù)據(jù)集,最高準(zhǔn)確性為80.95%。由于Houston數(shù)據(jù)集包含的類別更加豐富,并且每個(gè)類別所占用的像素較少,其中人工草地、水、停車場(chǎng)2、網(wǎng)球場(chǎng)以及跑道所占用的像素僅有幾百個(gè),所以這幾個(gè)類別的分類精度較低,導(dǎo)致Houston數(shù)據(jù)集的總體分類精度大幅度低于Bayview Park數(shù)據(jù)集。 從表2中可以看出,如果選擇適當(dāng)?shù)淖涌臻g數(shù)量和集成數(shù)量,則可以獲得更準(zhǔn)確的分類結(jié)果。同時(shí),表2展示了CNN集成的差異值,隨著集成數(shù)量的增加,多樣性呈減小的趨勢(shì)。為了比較子分類器數(shù)量對(duì)集成卷積神經(jīng)網(wǎng)絡(luò)的執(zhí)行效率的影響,表3為CNN集成分類方法訓(xùn)練時(shí)間,實(shí)驗(yàn)的訓(xùn)練時(shí)間隨著整體的子分類器數(shù)量和單個(gè)分類器中的訓(xùn)練樣本數(shù)量的增加而增加。為了驗(yàn)證深度學(xué)習(xí)模型CNN對(duì)LiDAR數(shù)據(jù)分類的有效性,本文的對(duì)比實(shí)驗(yàn)采用了集成SVM,實(shí)驗(yàn)結(jié)果見(jiàn)表4、表5,分別對(duì)比了OA、Kappa系數(shù)、多樣性度量以及訓(xùn)練時(shí)間??梢钥闯觯m然集成SVM的訓(xùn)練時(shí)間比集成CNN的時(shí)間短,但是集成SVM的各項(xiàng)分類評(píng)價(jià)指標(biāo)均大幅度低于集成CNN。 圖6、圖7分別顯示了兩個(gè)LiDAR數(shù)據(jù)各分類方法分類結(jié)果的假彩色圖。假彩色圖作為一種主觀評(píng)價(jià)指標(biāo),可以更加直觀地展示分類效果。本文提出的集成CNN方法分類邊界更加平滑,已標(biāo)記像元與背景像元的錯(cuò)分現(xiàn)象更少,更貼近真實(shí)地物分布。圖8給出不同種方法的LiDAR數(shù)據(jù)分類結(jié)果的。從圖8中分析可知,深度學(xué)習(xí)方法相比傳統(tǒng)的方法SVM、決策樹(shù)而言分類效果有很大的提升,錯(cuò)誤分類的面積大大減少。 3 結(jié) 論 本文提出了基于集成卷積神經(jīng)網(wǎng)絡(luò)的LiDAR數(shù)據(jù)分類方法,對(duì)比分析了不同的集成數(shù)量和子空間數(shù)量對(duì)分類結(jié)果的影響。當(dāng)我們選擇適當(dāng)?shù)募蓴?shù)量和子空間數(shù)量時(shí),集成卷積神經(jīng)網(wǎng)絡(luò)方法在Bayview Park和Houston數(shù)據(jù)集上的分類精度分別達(dá)到93.31%和80.95%。并與三種典型的分類算法進(jìn)行對(duì)比,結(jié)果表明本文設(shè)計(jì)的網(wǎng)絡(luò)分類精度較好,將來(lái),我們將研究如何將其他深度學(xué)習(xí)方法與有限樣本結(jié)合起來(lái),以進(jìn)一步提高分類準(zhǔn)確性。 參 考 文 獻(xiàn): [1] 胡海瑛, 惠振陽(yáng), 李娜. 基于多基元特征向量融合的機(jī)載LiDAR點(diǎn)云分類[J]. 中國(guó)激光, 2020, 47(8):237. HU Haiying, HUI Zhenyang, LI Na. Airborne LiDAR Point Cloud Classification Based on Multiple-entity Eigenvector Fusion[J]. Chinese Journal of Lasers, 2020, 47(8):237. [2] KONG D, XU L, LI X, et al. A Real-Time Method for DSM Generation from Airborne LiDAR Data[C]// 2013 IEEE International Instrumentation and Measurement Technology Conference(I2MTC), May 6-9, 2013, Minneapolis, MN, USA. New York:IEEE, 2013:377. [3] 王宇, 楊藝, 王寶山, 等. 深度神經(jīng)網(wǎng)絡(luò)條件隨機(jī)場(chǎng)高分辨率遙感圖像建筑物分割[J]. 遙感學(xué)報(bào), 2019, 23(6):1194. WANG Yu, YANG Yi, WANG Baoshan, et al. Building Segmentation in High-resolution Remote Sensing Image Through Deep Neural Network and Conditional Random Fields[J]. Journal of Remote Sensing, 2019, 23(6):1194. [4] 嚴(yán)明, 曹國(guó), 夏夢(mèng). 基于水平集演化和支持向量機(jī)分類的高分辨率遙感圖像自動(dòng)變化檢測(cè)[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2019, 24(1):82. YAN Ming, CAO Guo, XIA Meng. Automatic Change Detection of High Resolution Remote Sensing Images Based on Level Set Evolution and Support Vector Machine Classification[J]. Journal of Harbin University of Science and Technology, 2019, 24(1):82. [5] 于舒春, 佟小雨. 基于CNN特征提取的粒子濾波視頻跟蹤算法研究[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2020, 25(4):78. YU Shuchun, TONG Xiaoyu. Research on Particle Filter Video Tracking Algorithms Based on CNN Feature Extraction[J]. Journal of Harbin University of Science and Technology, 2020, 25(4):78. [6] 張曉男, 鐘興, 朱瑞飛, 等. 基于集成卷積神經(jīng)網(wǎng)絡(luò)的遙感影像場(chǎng)景分類[J]. 光學(xué)學(xué)報(bào), 2018, 38(11):350. ZHANG Xiaonan, ZHONG Xing, ZHU Ruifei, et al. Scene Classification of Remote Sensing Images Based on Integrated Convolutional Neural Networks[J]. Acta Optica Sinica, 2018, 38(11):350. [7] 鮑蕊, 夏俊士, 薛朝輝, 等. 基于形態(tài)學(xué)屬性剖面的高光譜影像集成分類[J]. 遙感技術(shù)與應(yīng)用, 2016, 31(4):731. BAO Rui, XIA Junshi, XUE Zhaohui, et al. Ensemble Classification for Hyperspectral Imagery Based on Morphological Attribute Profiles[J]. Remote Sensing Technology and Application, 2016, 31(4):731. [8] 蘇健民, 楊嵐心, 景維鵬. 基于U-Net的高分辨率遙感圖像語(yǔ)義分割方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(7):207. SU Jianmin, YANG Lanxin, JING Weipeng. U-Net Based Semantic Segmentation Method for High Resolution Remote Sensing Image. Computer Engineering and Applications, 2019, 55(7):207. [9] 葉秀芬, 于淼, 郭書(shū)祥, 等. 遙感圖像中細(xì)弱目標(biāo)分割方法[J]. 哈爾濱工程大學(xué)學(xué)報(bào),41(11):1689. YE Xiufen, YU Miao, GUO Shuxiang, et al. The Segmentation Method of the Thin and Weak Targets in Remote Sensing Images[J]. Journal of Harbin Engineering University,41(11):1689. [10]余東行, 張保明, 趙傳, 等. 聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)與集成學(xué)習(xí)的遙感影像場(chǎng)景分類[J]. 遙感學(xué)報(bào), 2020, 24(6):717. YU Donghang, ZHANG Baoming, ZHAO Chuan, et al. Scene Classification of Remote Sensing Image Using Ensemble Convolutional Neural Network[J]. Journal of Remote Sensing, 2020, 24(6):717. [11]CHEN Y, LIN Z, ZHAO X, et al. Deep Learning-Based Classification of Hyperspectral Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 7(6):2094. [12]劉建偉, 趙會(huì)丹, 羅雄麟, 等. 深度學(xué)習(xí)批歸一化及其相關(guān)算法研究進(jìn)展[J]. 自動(dòng)化學(xué)報(bào), 2020, 46(6):1090. LIU Jianwei, ZHAO Huidan, LUO Xionglin, et al. Research Progress on Batch Normalization of Deep Learning and Its Related Algorithms[J]. Acta Automatica Sinica, 2020, 46(6):1090. [13]景維鵬, 張明偉, 林敬博. 一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索遙感圖像分類方法[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2021, 26(1):25. JING Weipeng, ZHANG Mingwei, LIN Jingbo. A Network Architecture Search Remote Sensing Image Classification Method[J]. Journal of Harbin University of Science and Technology, 2021, 26(1):25. [14]王紅霞, 周家奇, 辜承昊, 等. 用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 浙江大學(xué)學(xué)報(bào):工學(xué)版, 2019(7):1363. WANG Hongxia, ZHOU Jiaqi, LIN GU Chenghao. Design of Activation Function in CNN for Image Classification[J]. Journal of Zhejiang University(Engineering Science), 2019(7):1363. [15]XIA J, YOKOYA N, LWASAKI A. Fusion of Hyperrspectral and LiDAR Data with a Novel Ensemble Classifier[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(6):957. [16]WANG A L, HE X, GHAMISI P, et al. LiDAR Data Classification Using Morphological Profiles and Convolutional Neural Networks[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5):774. [17]CHEN Y, ZHAO X, LIN Z. Optimizing Subspace SVM Ensemble for Hyperspectral Imagery Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(4):1295. [18]樊利恒, 呂俊偉, 鄧江生. 基于分類器集成的高光譜遙感圖像分類方法[J]. 光學(xué)學(xué)報(bào), 2014, 34(9):99. FAN Liheng, LV Junwei, DENG Jiangsheng. Classification of Hyperspectral Remote Sensing Images Based on Bands Grouping and Classification Ensembles[J]. Acta Optica Sinica, 2014, 34(9):99. [19]孫博, 王建東, 陳海燕, 等. 集成學(xué)習(xí)中的多樣性度量[J]. 控制與決策, 2014, 29(3):385. SUN Bo, WANG Jiandong, CHEN Haiyan, et al. Diversity measures in ensemble learning[J]. Control andDecision, 2014, 29(3):385. [20]DEBES C, MERENTITIS A, Heremans R, et al. Hyperspectral and LiDAR Data Fusion:Outcome of the 2013 GRSS Data Fusion Contest[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(6):2405. (編輯:溫澤宇)