李興東，肖 旭，陳顯東，張時雨，劉九慶,2

(1.東北林業(yè)大學機電工程學院，哈爾濱，150006；2.國家林業(yè)草原人工智能與裝備工程技術研究中心，哈爾濱，150006)

0 引言

森林火災一直是各個國家重點預防的災害之一，它的危害是全球性的、毀滅性的。2021年7月，加拿大不列顛哥倫比亞省因高溫干燥天氣發(fā)生山火，火場達200多個，火場面積約450公頃。2021年6月，美國加利福尼亞州北部山火肆虐，燃起的“熔巖”山火過火面積約9800公頃，為加州迄今為止最嚴重的山火之一。為了減小森林火災造成的損失，及時發(fā)現(xiàn)火點在林火防控中至關重要。

傳統(tǒng)的林火監(jiān)測方案主要是在地面鋪設溫度、濕度、氣體或煙霧等多傳感器網(wǎng)絡[1,2]，但這種方案容易導致數(shù)據(jù)冗余，而且監(jiān)測范圍有限，難以大面積覆蓋。如果將來自多個傳感器的信息進行數(shù)據(jù)融合[3]，不僅能減少數(shù)據(jù)量，還能提高監(jiān)測信息的準確性。隨著計算機技術和數(shù)字成像技術的快速發(fā)展，利用計算機視覺組成的地面?zhèn)鞲衅骶W(wǎng)絡有效提高了檢測精度和覆蓋范圍。文獻[4]提出了一個基于紅外圖像探測野火的多傳感器網(wǎng)絡系統(tǒng)，擴大了系統(tǒng)的監(jiān)測范圍。文獻[5]提出了一種基于實時視頻的火災煙霧探測方法，該方法與多傳感器網(wǎng)絡系統(tǒng)相結合，能實時反饋火災煙霧位置?；诘孛嬉曈X傳感器網(wǎng)絡的林火檢測方案雖然提高了檢測精度和監(jiān)測范圍，但是一般林區(qū)地形復雜，不可避免地存在視覺盲區(qū)。

無人機與計算機視覺相結合形成的無人機影像[6,7]在林火監(jiān)測領域具有很好的應用前景，文獻[8]先通過地面端的攝像機進行初步判斷，然后用一架裝有氣體傳感器和熱成像攝像機的遙控無人機進行驗證，減少了誤報的情況。該方法用無人機對煙霧進行判斷時，不可避免地需要飛到離火區(qū)距離較近的地方，對無人機設備存在威脅。文獻[9]使用地面站與機載紅外和可視攝像機進行森林火災監(jiān)測，實現(xiàn)了對火鋒的位置、形狀、火基寬度和火焰高度的測量。該方案地面端的紅外和可視攝像機在野外復雜環(huán)境下工作時容易存在視覺盲區(qū)，如果失去了地面端數(shù)據(jù)的支持，僅靠無人機攜帶的紅外和可視攝像機難以實現(xiàn)對火點的全局定位。文獻[10]提出了IMU (Inertial Measurement Unit)與計算機視覺相結合的火災探測系統(tǒng)，并與地面站通信實現(xiàn)了火場的建圖與火點的定位。但IMU會產(chǎn)生累積誤差，且在林火監(jiān)測中依靠單個可見光攝像機具有一定局限性。

為此，本文提出了一個通過衛(wèi)星-慣導定位系統(tǒng)與計算機視覺相結合的林火監(jiān)測方案，相比文獻[9]它直接獲取衛(wèi)星信號定位無人機位置，減小了對地面視覺傳感器的依賴；相比文獻[10]它融合了GPS(Global Positioning System)與IMU信息，減小了累積誤差；相比僅采用視覺的林火監(jiān)測方案，本文可以利用激光雷達直接獲取到火場的空間三維信息[11,12]；同時本文利用紅外圖像識別林火，有效結合了文獻[4]的優(yōu)點；與利用衛(wèi)星遙感技術的林火定位方案[13]相比，本文方案時間分辨率更高，即使在林火蔓延初始階段，燃燒面積較小，也容易監(jiān)測到。

1 火點定位方法

1.1 無人機吊艙系統(tǒng)設計

本文搭建了一個無人機吊艙系統(tǒng)，它包括無人機端和地面接收端。無人機端由硬件系統(tǒng)和軟件系統(tǒng)組成，硬件系統(tǒng)包括傳感器模塊、數(shù)據(jù)處理中心、數(shù)據(jù)傳輸模塊；軟件系統(tǒng)包括傳感器驅動節(jié)點、點云拼接節(jié)點、火點識別節(jié)點、數(shù)據(jù)融合節(jié)點和數(shù)據(jù)傳輸節(jié)點。地面接收端用于控制吊艙設備、查看傳感器數(shù)據(jù)和在地圖中顯示無人機及火點信息。

傳感器模塊包括激光雷達(Velodyne公司研制的VLP-16激光雷達)、紅外熱像儀(國產(chǎn)ZX-IRV氧化釩紅外熱像儀)、組合慣導系統(tǒng)(法國SBG Ellipse-E組合慣導系統(tǒng))和可見光相機(大恒圖像研發(fā)的MER2-G系列的GigE接口相機)，負責數(shù)據(jù)采集；數(shù)據(jù)處理中心是指吊艙系統(tǒng)上搭載的工控機(英特爾NUC8i5)，負責數(shù)據(jù)處理和計算；數(shù)據(jù)傳輸模塊包括無線路由器、無線網(wǎng)橋和無線數(shù)傳電臺，負責數(shù)據(jù)傳輸。在數(shù)據(jù)傳輸模塊中，由路由器建立一個局域網(wǎng)，在局域網(wǎng)內(nèi)實現(xiàn)機載系統(tǒng)與地面終端間的數(shù)據(jù)交互，其中無線數(shù)傳電臺負責火點和無人機位置信息的傳輸，無線網(wǎng)橋負責圖像的傳輸。本系統(tǒng)的硬件組成如圖1所示。

(1.工控機；2.無線路由器；3.激光雷達；4.可見光相機；5.紅外熱像儀；6.組合慣導系統(tǒng)；7.無線數(shù)傳電臺；8.無線網(wǎng)橋)圖1 系統(tǒng)硬件Fig. 1 The hardware structure

軟件系統(tǒng)的控制程序基于ROS(Robot Operating System)開發(fā)，以節(jié)點為單位。本系統(tǒng)工作時先由傳感器驅動節(jié)點將激光雷達、組合慣導系統(tǒng)、紅外熱像儀和可見光相機啟動；然后將激光雷達采集到的點云數(shù)據(jù)和組合慣導系統(tǒng)采集到的位姿數(shù)據(jù)在點云拼接節(jié)點進行數(shù)據(jù)融合，獲得密集點云；同時在火點識別節(jié)點處理紅外熱像儀采集的圖像數(shù)據(jù)，并由火點識別算法檢測是否存在火點；如果存在火點，則啟動數(shù)據(jù)融合節(jié)點將該幀紅外圖像與對應時間戳的密集點云進行融合，并定位出火點在地理坐標系下的位置；最后由數(shù)據(jù)傳輸節(jié)點將無人機和火點的位置信息、可見光相機與紅外熱像儀采集到的圖像信息及點云信息傳輸?shù)降孛娼邮斩恕?/p>

地面接收端連接無線數(shù)傳電臺和無線網(wǎng)橋，無線數(shù)傳電臺用于接收無人機和火點位置信息，無線網(wǎng)橋用于接收可見光相機與紅外熱像儀采集到的圖像信息及點云信息。

1.2 傳感器標定

激光雷達、紅外熱像儀與組合慣導系統(tǒng)等傳感器多數(shù)據(jù)融合之前，需要知道其相對位姿關系。本系統(tǒng)將激光雷達與紅外熱像儀數(shù)據(jù)融合、激光雷達與組合慣導數(shù)據(jù)融合，所以需要標定出激光雷達與紅外熱像儀、激光雷達與組合慣導的位姿關系。

將三維點云投影到成像平面時需要左乘紅外熱像儀的內(nèi)參矩陣，本文采用張正友標定法解算紅外熱像儀的內(nèi)參矩陣，并利用材料的導熱性制作了一張可被紅外熱像儀識別的棋盤格標定板[14,15]。相機內(nèi)參矩陣由ROS的相機標定工具包解算，并用M表示。

紅外熱像儀、激光雷達與組合慣導系統(tǒng)的位姿關系如圖2所示，圖2中的四個坐標系分別為世界坐標系oW-xWyWzW、慣導坐標系oI-xIyIzI、雷達坐標系oL-xLyLzL，紅外熱像儀坐標系oC-xCyCzC。其中世界坐標系以正東方為x軸，以正北方為y軸，z軸豎直向上。雷達坐標系與紅外熱像儀坐標系間的旋轉矩陣用RCL表示，平移向量用TCL表示，雷達與組合慣導間的旋轉矩陣用RIL表示，平移向量用TIL表示，慣導坐標系到世界坐標系的旋轉矩陣用RWI表示、平移向量用TWI表示。

圖2 傳感器位姿關系Fig. 2 The pose relationship of sensors

本文采用OpenCV里的PNP算法求解出紅外熱像儀到激光雷達的旋轉矩陣RCL、平移向量TCL：用紅外熱像儀和激光雷達拍攝同一標定板，分別記錄標定板中同一角點在點云和紅外圖像中對應的坐標，獲得多組點對(至少4組點對)，然后帶入PNP算法求解出RCL、TCL。

求解組合慣導到激光雷達的旋轉矩陣RIL和平移向量TIL時，平移向量TIL可以直接測量，為[0.18，0，0.24]T，但是標記點在慣導坐標系中的位置并不能直接獲得[16]，所以本文采用手眼標定法。吊艙系統(tǒng)分別在a、b兩個位置采集地面靜止的箱體，此時手眼標定的表達式為：

RIaIb·RIL=RIL·RLaLb

(1)

式中RIaIb表示吊艙系統(tǒng)從a位置到b位置時慣導坐標系的位姿變化，可通過組合慣導讀取的數(shù)據(jù)獲得；RLaLb表示吊艙系統(tǒng)從a位置到b位置時雷達坐標系的位姿變化，可通過ICP匹配兩幀點云數(shù)據(jù)解出。由此可以通過Tsai[17]解算出RIL：

(2)

在1.3節(jié)的圖3中能直觀地看出通過RIL、TIL的點云拼接效果。

1.3 點云密集化

VLP-16激光雷達掃描得到的單幀點云中只有16條點云線，分辨率低，所以本文基于組合慣導輸出的四元數(shù)和GPS數(shù)據(jù)將多幀點云拼接到一起得到密集點云。

點云拼接的具體實現(xiàn)過程：獲取第一幀點云時，在此刻無人機所在的世界坐標系oW-xWyWzW位置建立一個局部坐標系oJ-xJyJzJ，該坐標系x軸指向正北方，該坐標系y軸指向正東方，并記錄該坐標系原點所在的GPS位置。

然后將采集到的每一幀點云及對應時間戳的無人機位姿(組合慣導輸出的四元數(shù))與GPS記錄下來，通過四元數(shù)計算出拼接第i幀點云對應時刻戳慣導坐標系oIi-xIiyIizIi相對局部坐標系的旋轉矩陣RJIi。

將局部坐標系原點的GPS表示為[Jlon,Jlat,Jalt]T，拼接第i幀點云對應時刻慣導坐標系的GPS表示為 [Iilon,Iilat,Iialt]T，經(jīng)墨卡托投影計算出慣導坐標系oIi-xIiyIizIi相對局部坐標系的平移向量TJIi：

TJIi=

(3)

其中D為赤道的周長，大約40 075 020 m。

根據(jù)慣導坐標系到雷達坐標系的旋轉矩陣RIL和平移向量TIL計算出此時雷達坐標系中的某一點Pl(xl,yl,zl)在局部坐標系中的位置Pj(xj,yj,zj)：

(4)

通過式4將每幀雷達坐標系下的點云變換到局部坐標系下得到點云地圖，然后將離散點云濾除：先濾除點云中存在的噪音點[18]，然后根據(jù)激光雷達的掃描特性，用直通濾波將局部坐標系中y軸正負40 m范圍外的離散點云去除。根據(jù)經(jīng)驗可知，本文所選紅外熱像儀的水平視角范圍小于激光雷達，無人機在最大飛行高度30 m時，保留y軸正負40 m范圍的點云數(shù)據(jù)能將整個圖像包含在點云范圍內(nèi)，足以滿足融合所需的點云。如圖3所示。

圖3 點云拼接效果圖Fig. 3 The figure of point cloud splicing

本系統(tǒng)中點云拼接是實時進行的，為了方便點云與紅外圖像融合，需要將獲得的點云地圖轉到雷達坐標系下。根據(jù)激光雷達與紅外熱像儀的視野范圍及無人機飛行速度，本文將局部坐標系中每連續(xù)5幀點云通過式4的逆運算將其轉換到該5幀點云中第一幀點云所在的雷達坐標系，獲得密集點云。

1.4 火點全局定位

通過計算機視覺識別火點主要分為三種方案：顏色特征識別[19,20]、動態(tài)特征識別[21]以及結合顏色和動態(tài)特征識別[22-24]。在實際監(jiān)測過程中，考慮到林火形成初期，火焰較小，無人機在高空拍攝時火焰特征并不明顯，通過火焰動態(tài)特征來識別火點的方法具有一定的不足；利用顏色特征與動態(tài)特征相結合的方案識別火點時，如通過深度學習模型識別復雜環(huán)境中的火焰[25]，計算量較大，容易影響實時性。所以本文根據(jù)紅外圖像中火點的顏色特征識別火點，紅外圖像中溫度越高的位置像素值越高、顏色越白，在紅外圖像中顏色特征越明顯。

紅外熱像儀拍攝到火點后，用直方圖統(tǒng)計各像素值出現(xiàn)的頻率，火點像素值集中在233～255，非火點像素值集中在0～35，因此本文火點識別方案分為兩個步驟：

第一步，判斷是否監(jiān)測到火點：記紅外圖像像素總個數(shù)為S，并統(tǒng)計像素值在233～255的像素個數(shù)，用s1表示，像素值在0～35的像素個數(shù)，用s2表示；當s1與s2的和大于紅外圖像像素總個數(shù)的百分之85的時候，表示監(jiān)測到火點，如式5所示：

(s1+s2)>S×85%

(5)

第二步，如果監(jiān)測到火點，則進行火點識別：用最大類間方差法確定最佳閾值，并用thr表示；紅外圖像中像素值大于這個閾值的像素集合為火點集合，用φ表示；最后將火點集合的邊緣標記為紅色。火點的集合表示為：

φ={a(i,j)>thr,1≤i≤m,1≤j≤n}

(6)

式中m、n表示圖像的大小，a(i,j)表示像素(i,j)處的像素值。

火線識別效果如圖4所示。

圖4 火線識別效果圖Fig. 4 The figure of fire line identification

紅外圖像中火點特征明顯，容易識別，但無法確定火點的空間位置；激光雷達無法直接識別到火點，但容易獲取火場三維信息。因此，本文將紅外圖像與密集點云融合，從而確定出火點的空間位置。

設密集點云中某一點h的坐標為(xh,yh,zh)，其在紅外圖像中的像素坐標用(uh,vh)，則有：

(7)

其中矩陣M是紅外熱像儀內(nèi)參矩陣，RCL、TCL是紅外熱像儀坐標系到雷達坐標系間的旋轉矩陣和平移向量。

紅外圖像與密集點云的融合過程：獲取密集點云與紅外圖像數(shù)據(jù)，并將時間戳對齊；結合公式7將密集點云投影到紅外圖像上，并將超出部分的點云去除；記錄投影到紅外圖像上的點云對應的紅外圖像像素坐標的顏色信息，然后將點云增加三個通道用于儲存投影后對應像素的顏色信息，獲得帶有紅外圖像顏色信息的紅外三維點云；最后根據(jù)火點的顏色信息提取出紅外三維點云中火點的空間信息。

紅外圖像與密集點云融合的偽代碼如下：

Algorithm: 紅外圖像與密集點云融合Input: 紅外圖像:img, 密集點云:cloud_in, 紅外熱像儀內(nèi)參:M, 紅外熱像儀到激光雷達坐標系的旋轉、平移:R、T. 1 新建 pointcolor類型點云colorpoints 2 for i←0 to (點云個數(shù)) by i++ do 3 P←cloud_in 4 newpoint←M×(R×P +T) 5 If (Z >0) then do 6 歸一化處理得到像素坐標(u,v) 7 if (像素坐標在圖像范圍內(nèi)) then do 8 colorpoints←cloud_in 9 colorpoints←img.at(u,v) 10 if (帶火點特征)then 11 發(fā)布火點空間坐標 12 End 13 else 14 Delete 15 End 16 End 17 EndOutput: 帶有紅外圖像顏色信息的三維點云及火點的空間坐標

其中P是由輸入點云的坐標表示的向量。

紅外圖像與密集點云融合效果如圖5所示。

圖5 紅外圖像與密集點云融合效果圖 Fig. 5 The figure of infrared image and dense point cloud fusion

獲得火點在雷達坐標系下的位置后，本文將其變換到地理坐標系下獲得火點在全局坐標系下的GPS位置。組合慣導安裝在無人機中心位置，本文將它作為導航坐標系中心。當識別到火點時，在無人機位置建立一個局部坐標系oJi-xJiyJizJi，該坐標系x軸與世界坐標系y軸方向一致，該坐標系y軸與世界坐標系x軸方向一致，則世界坐標系到該坐標系的旋轉矩陣RWJi為：

(8)

設此時的無人機旋轉矩陣為RJiI、平移向量為TJiI，其中RJiI通過組合慣導獲得，TJiI據(jù)式1獲得。設某個火點在雷達坐標系中的坐標為[xlf,ylf,zlf]T。據(jù)式4，火點在局部坐標系下的坐標[xjf,yjf,zjf]T表示為：

(9)

然后將局部坐標系原點的GPS進行墨卡托投影：設局部坐標系oJi-xJiyJizJi原點的GPS為此時慣導坐標系的GPS，表示為[Iilon,Iilat,Iialt]T，則火點在世界坐標系下的位置[xWf,yWf,zWf]T表示為：

(10)

最后將火點在世界坐標系下的坐標通過式10轉到WGS-84坐標系下，獲得火點的GPS位置[Flon,Flat,Falt]T：

(11)

2 實驗

本文試驗用的無人機為大疆T16，卸掉無人機自帶的藥筒和噴灑裝置，并將設計的吊艙系統(tǒng)搭載到藥筒位置，如圖6所示。

圖6 搭載在無人機上的吊艙系統(tǒng)Fig. 6 The system mounted on UAV

為了獲得本系統(tǒng)的定位精度與可靠性，本文設計了一場試驗：在空曠地面鋪設5 m×7 m的樟子松樹葉，在其中一個斜對角兩端各放置一盆炭火，并記錄這兩盆炭火的地理位置；然后將吊艙系統(tǒng)搭載在無人機上以不同速度、不同高度、不同飛行方向定位火點，并記錄系統(tǒng)定位出的火點GPS位置；最后分析兩個火點的經(jīng)度、緯度和高程的最大誤差、平均誤差及標準化殘差，獲得火點的定位精度與系統(tǒng)的可靠性。

試驗現(xiàn)場如圖7所示。

圖7 試驗現(xiàn)場Fig. 7 Testing field

火點實際位置如表1所示。

表1 火點的實際位置

本文選用的無人機為大疆T16，其最大飛行高度為30 m，最大飛行速度為8 m·s-1，且平時工作速度為3 m·s-1、工作高度為20 m。在實際監(jiān)測過程中，主要的變化因素為飛行高度、飛行速度和飛行方向。為了獲得火點定位的精度并驗證系統(tǒng)的可靠性，在相同試驗條件下，僅改變無人機飛行高度、飛行速度或飛行方向，設計了12組實驗，各組參數(shù)如表2所示。

表2 無人機飛行參數(shù)

本系統(tǒng)對兩個火點的定位結果如圖8所示。

圖8 系統(tǒng)定位誤差圖Fig. 8 The error of system positioning

通過圖8可以看出無人機吊艙系統(tǒng)定位出的火點位置基本上都在火點實際位置附近波動，說明無人機在最大飛行高度30 m以內(nèi)、最大飛行速度8 m·s-1以內(nèi)的試驗條件下系統(tǒng)工作較為穩(wěn)定。圖8(b)、圖8(d)、圖8(f)表示的是每組實驗的誤差，具體數(shù)值如表3所示。

表3 實驗誤差

通過表3可以看出試驗中本系統(tǒng)定位火點1時的經(jīng)度最大誤差為1.84×10-5°，經(jīng)度平均誤差為8.00×10-6°；緯度最大誤差為1.79×10-5°，緯度平均誤差為8.80×10-6°；高程最大誤差為0.926 1 m，高程平均誤差為0.415 5 m。本系統(tǒng)定位火點2時的經(jīng)度最大誤差為2.36×10-5°，經(jīng)度平均誤差為6.50×10-6°；緯度最大誤差為1.84×10-5°，緯度平均誤差為8.20×10-6°；高程最大誤差為0.672 3 m，高程平均誤差為0.388 4 m。

為了驗證本系統(tǒng)定位的可靠性，本文分析了系統(tǒng)定位出的火點經(jīng)度、緯度和高程的標準化殘差，如圖9所示。

圖9(a)第6組試驗中火點2經(jīng)度標準化殘差超出[-2，2]范圍，火點2經(jīng)度標準化殘差在[-2，2]范圍內(nèi)的概率為91.67%，但火點1和火點2總體經(jīng)度標準化殘差在[-2，2]范圍內(nèi)的概率為95.83%；圖9(b)兩個火點的緯度標準化殘差均在[-2，2]范圍內(nèi)，概率為100%；圖9(c)第5組試驗中火點1高程標準化殘差超出[-2，2]范圍，火點1高程標準化殘差在[-2，2]范圍內(nèi)的概率為91.67%，但火點1和火點2總體高程標準化殘差在[-2，2]范圍內(nèi)的概率為95.83%。綜上，兩個火點總體的經(jīng)度、緯度和高程的標準化殘差在[-2，2]范圍內(nèi)的概率均在95%以上，服從正態(tài)分布，因此本系統(tǒng)的定位結果可靠。

圖9 火點定位標準化殘差Fig. 9 The standardized residual of fire point positioning

3 結論

火點實時、精準定位在林火防控中至關重要。本文設計的可實時全局定位火點的無人機多傳感吊艙系統(tǒng)，在工作高度30 m內(nèi)、飛行速度8 m·s-1內(nèi)，且沒有地面?zhèn)鞲衅骶W(wǎng)絡支持的試驗條件下，改變飛行高度、飛行速度或飛行方向，得到該系統(tǒng)的定位誤差：經(jīng)度最大誤差為2.36×10-5°，緯度最大誤差為1.84×10-5°，高程最大誤差為0.926 1 m。同時，分析經(jīng)度、緯度和高程的標準化殘差：試驗中火點的經(jīng)度、緯度和高程的標準化殘差在[-2，2]范圍內(nèi)的概率均在95%以上，服從正態(tài)分布，說明本系統(tǒng)的定位結果可靠。未來，該系統(tǒng)可以結合林火蔓延預測模型，提前預測出林火位置，保障消防員及時撤離危險地區(qū)，在林火防控中具有較高的應用價值。