崔 崢，王增才，張 杰，閆 明，王普圣

(山東大學(xué)機(jī)械工程學(xué)院，山東 濟(jì)南 250061)

0 引 言

煤炭作為重要的能源物資，成本高、儲(chǔ)量大，因此需要進(jìn)行快速準(zhǔn)確的盤點(diǎn)。目前大多數(shù)煤炭是以煤堆的形式進(jìn)行儲(chǔ)存，對(duì)于煤堆的體積測(cè)量費(fèi)時(shí)費(fèi)力，往往需要付出巨大的人力物力。針對(duì)煤堆體積測(cè)量，國(guó)內(nèi)學(xué)者已經(jīng)展開了大量研究實(shí)踐工作[1-5]。陳瑩等[6]提出了由4臺(tái)CCD攝像機(jī)、圖像采集卡和微機(jī)構(gòu)成的計(jì)算機(jī)視覺測(cè)量系統(tǒng)，用來測(cè)量形狀不規(guī)則的大型物料堆體積的方法。朱海波[7]提出采用激光掃描光三角測(cè)量原理的系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)對(duì)露天煤場(chǎng)存煤量自動(dòng)檢測(cè)功能。該系統(tǒng)將CCD攝像機(jī)、激光測(cè)距儀和地圖星均安裝在煤場(chǎng)一側(cè)的測(cè)量塔上，首先標(biāo)定一個(gè)已知空間位置作為初始點(diǎn)，由計(jì)算機(jī)控制激光掃描測(cè)距系統(tǒng)對(duì)煤場(chǎng)進(jìn)行自動(dòng)掃描，通過激光測(cè)距儀測(cè)量每一個(gè)待測(cè)點(diǎn)與掃描儀的空間距離，通過地圖星記錄待測(cè)點(diǎn)與初始點(diǎn)的位置變化，進(jìn)而用光三角法和初始點(diǎn)的標(biāo)定信息計(jì)算獲得待測(cè)點(diǎn)的三維坐標(biāo)，最后由計(jì)算機(jī)擬合煤堆表面形狀，并求出存煤體積。秦健[8]提出將激光測(cè)距儀和步進(jìn)電機(jī)安裝在煤場(chǎng)取煤的斗輪機(jī)的懸臂上，行程傳感器觸點(diǎn)安裝在待測(cè)煤推的縱向區(qū)域，采集煤堆表面數(shù)據(jù)，生成三維坐標(biāo)數(shù)據(jù)計(jì)算體積的自動(dòng)盤煤及管理系統(tǒng)。梁樂[9]研究了一種雙目視覺的測(cè)量方法，主要通過半全局匹配法計(jì)算視差圖，然后根據(jù)數(shù)值積分計(jì)算目標(biāo)的體積，實(shí)驗(yàn)表明對(duì)于一些形狀不規(guī)則的物體有著較好的測(cè)量效果。丁嗣禹等[10]使用雙目相機(jī)作為圖像采集設(shè)備，采集不規(guī)則物料堆的俯視圖像，通過半全局匹配算法計(jì)算出不規(guī)則物料堆的視差圖，然后在視差圖優(yōu)化階段主要使用中值濾波算法和最近鄰插值算法，將視差圖中的視差值轉(zhuǎn)換為三維坐標(biāo)數(shù)據(jù)，還原物料堆三維場(chǎng)景，再借助改進(jìn)的OTSU算法對(duì)物料區(qū)域進(jìn)行分割，根據(jù)區(qū)域內(nèi)物料堆的平均高度和平均面積計(jì)算堆料的體積。以上方法在計(jì)算煤堆體積時(shí)，所需設(shè)備較多，且需要多次信號(hào)處理，因此計(jì)算過程較為緩慢。

針對(duì)以上問題，本文提出了一種基于三維點(diǎn)云分割的煤堆體積計(jì)算方法。使用激光雷達(dá)對(duì)煤堆進(jìn)行掃描，獲取到煤堆及其周邊環(huán)境的點(diǎn)云數(shù)據(jù)，然后將點(diǎn)云數(shù)據(jù)直接輸入到Point-Net神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理，將煤堆點(diǎn)云數(shù)據(jù)與其他物體點(diǎn)云數(shù)據(jù)進(jìn)行區(qū)分和分割，從而獲取僅含有煤堆的點(diǎn)云數(shù)據(jù)，最后對(duì)該點(diǎn)云數(shù)據(jù)進(jìn)行Delaunay三角劃分，并進(jìn)行積分計(jì)算，得到煤堆的體積數(shù)據(jù)。

1 三維點(diǎn)云的語義分割

1.1 激光雷達(dá)與三維點(diǎn)云

激光雷達(dá)是一種主動(dòng)式的現(xiàn)代光學(xué)遙感技術(shù)，它采用非接觸式測(cè)量的方法，可以快速掃描形狀不規(guī)則的復(fù)雜物體，獲取目標(biāo)表面回波點(diǎn)的坐標(biāo)信息。三維點(diǎn)云是指按照規(guī)則格網(wǎng)排列的三維坐標(biāo)點(diǎn)的數(shù)據(jù)集，可以由激光雷達(dá)掃描被測(cè)物體獲得。

1.2 點(diǎn)云的語義分割

在對(duì)煤堆進(jìn)行掃描時(shí)，由于激光雷達(dá)掃描范圍廣、速度快，因此所形成的點(diǎn)云數(shù)據(jù)往往是大片包含有煤堆和各種復(fù)雜環(huán)境的場(chǎng)景，這對(duì)于后續(xù)煤堆的體積計(jì)算有極大的干擾性。為了只獲取煤堆的點(diǎn)云數(shù)據(jù)，需要構(gòu)建神經(jīng)網(wǎng)絡(luò)對(duì)點(diǎn)云進(jìn)行語義分割。

神經(jīng)網(wǎng)絡(luò)是一種由大量的節(jié)點(diǎn)也就是神經(jīng)元直接相互關(guān)聯(lián)而構(gòu)成的計(jì)算模型；每個(gè)節(jié)點(diǎn)(除輸入節(jié)點(diǎn)外)所代表的輸出函數(shù)稱為激勵(lì)函數(shù)；每?jī)蓚€(gè)節(jié)點(diǎn)的連接都代表該信號(hào)在傳輸中所占的比重(即認(rèn)為該節(jié)點(diǎn)的“記憶值”被傳遞下去的比重)，稱為權(quán)重；網(wǎng)絡(luò)的輸出由于激勵(lì)函數(shù)和權(quán)重的不同而不同，是對(duì)于某種函數(shù)的逼近或是對(duì)映射關(guān)系的近似描述。圖1為兩層的神經(jīng)網(wǎng)絡(luò)構(gòu)圖。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Neural network structure diagram

(1)

最終輸出結(jié)果見式(2)。

output=

(2)

式中，h為激活函數(shù)。

網(wǎng)絡(luò)訓(xùn)練過程為：①初始化權(quán)重，通過前向傳播，計(jì)算網(wǎng)絡(luò)的輸出；②使用代價(jià)函數(shù)衡量當(dāng)前的預(yù)測(cè)與真實(shí)值的誤差；③使用梯度下降，將誤差反向傳播(鏈?zhǔn)椒▌t)，修改網(wǎng)絡(luò)權(quán)值；④循環(huán)，直到網(wǎng)絡(luò)誤差達(dá)到目標(biāo)要求停止，應(yīng)用訓(xùn)練好的模型對(duì)測(cè)試樣本訓(xùn)練。

最終訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型可以對(duì)特定的目標(biāo)進(jìn)行區(qū)分識(shí)別，但一般的神經(jīng)網(wǎng)絡(luò)都應(yīng)用于圖像識(shí)別，所處理的文件類型也都是照片等二維信息。三維點(diǎn)云雖然能夠方便快捷表達(dá)物體的三維結(jié)構(gòu)，但其數(shù)據(jù)結(jié)構(gòu)復(fù)雜，具有置換不變性，即使點(diǎn)云的坐標(biāo)發(fā)生改變，其表達(dá)的物體特征沒有變化，因此很難直接應(yīng)用于神經(jīng)網(wǎng)絡(luò)中。雖然可以將點(diǎn)云數(shù)據(jù)進(jìn)行體素化來輸入神經(jīng)網(wǎng)絡(luò)中處理，但該方法將會(huì)損失點(diǎn)云中大量的特征信息[11-15]。因此，本文提出應(yīng)用Point-Net神經(jīng)網(wǎng)絡(luò)，可以直接作用于點(diǎn)云數(shù)據(jù)中，解決以上問題[16]。

首先，Point-Net神經(jīng)網(wǎng)絡(luò)主體架構(gòu)由T-Net微型網(wǎng)絡(luò)和Mlp多層感知機(jī)組成。T-Net微型網(wǎng)絡(luò)可以看成一個(gè)縮小版的Point-Net神經(jīng)網(wǎng)絡(luò)，其主要作用是生成一個(gè)仿射變換矩陣，對(duì)點(diǎn)云的旋轉(zhuǎn)及平移進(jìn)行規(guī)范化處理，從而解決了點(diǎn)云置換不變性的問題。Mlp多層感知機(jī)也稱為人工神經(jīng)網(wǎng)絡(luò)，其隱藏層與輸入層為全連接，主要通過二維卷積來實(shí)現(xiàn)對(duì)點(diǎn)云中的局域特征進(jìn)行升維操作，這樣可以在更高的維度對(duì)點(diǎn)云的局域特征進(jìn)行提取，極大地減少了特征損失。

Point-Net神經(jīng)網(wǎng)絡(luò)的架構(gòu)見圖2。Point-Net神經(jīng)網(wǎng)絡(luò)是分類網(wǎng)絡(luò)的擴(kuò)展，簡(jiǎn)而言之，該神經(jīng)網(wǎng)絡(luò)主要運(yùn)用Mlp多層感知機(jī)對(duì)每個(gè)點(diǎn)的局域特征進(jìn)行升維處理，隨后將n×64維局域特征和1 024維全局特征進(jìn)行融合，最后利用(128，m)的感知機(jī)進(jìn)行特征分類，輸出結(jié)果為n×m，n對(duì)應(yīng)n個(gè)點(diǎn)，m對(duì)應(yīng)點(diǎn)所對(duì)應(yīng)的m個(gè)分類得分。將三維點(diǎn)云數(shù)據(jù)輸入到T-Net微型網(wǎng)絡(luò)的一些主要特點(diǎn)如下所述。

圖2 Point-Net架構(gòu)圖Fig.2 Architecture diagram of Point-Net

1)將最大池化層集作為對(duì)稱函數(shù)，從每個(gè)點(diǎn)聚合信息，使模型對(duì)輸入排列保持不變。

2)能夠預(yù)測(cè)每個(gè)點(diǎn)的特征，依賴于來自附近點(diǎn)的局部結(jié)構(gòu)和全局信息，使得預(yù)測(cè)對(duì)象的轉(zhuǎn)換不變，如平移或旋轉(zhuǎn)。

3)通過在特征提取前將所有輸入集合對(duì)齊到規(guī)范空間，使點(diǎn)云的語義標(biāo)注與點(diǎn)云幾何變換保持不變。

其輸出的分類結(jié)果見式(3)。

f(x1,x2,…,xn)=γ×g(h(x1),…,h(xn))

(3)

式中：x為點(diǎn)云中的點(diǎn)；h為特征提取層；g為對(duì)稱方法，Point-Net采用了max-pooling策略；為高維特征提取。

對(duì)分割結(jié)果的可視化可以借助Cloud Compare軟件完成。

2 三角劃分

整套體積測(cè)量系統(tǒng)流程見圖3。在使用Meshlab軟件進(jìn)行補(bǔ)全降噪后，可以獲取較為完整的煤堆點(diǎn)云數(shù)據(jù)。為了計(jì)算該煤堆的體積，需要對(duì)煤堆點(diǎn)云進(jìn)行Delaunay三角劃分。

圖3 體積測(cè)量系統(tǒng)Fig.3 Volumetric measurement system

平面中定義一點(diǎn)集Q，Q={Qi|i=1，2，…，j}，且j≥3。V(Qm)=∩H(Qm，Qn)，(1≤n≤j,m≠n)，即V(Qm)表示比其余點(diǎn)更接近Qm的點(diǎn)的軌跡是(j-1)個(gè)半平面的交，它是一個(gè)不多于(j-1)條邊的凸多邊形域，稱為關(guān)聯(lián)于Qm的Voronoi域。Q中任意一點(diǎn)均可作為一個(gè)Voronoi多邊形，如圖4(a)所示，這樣的j個(gè)Voronoi多邊形組成的圖形稱為Voronoi圖[17]。

由Voronoi圖衍生得到Delaunay圖，二者互為對(duì)偶。圖4(b)中對(duì)每條非邊界的Voronoi邊作其中垂線，得到的即為Delaunay三角剖分[18]?；诟窬W(wǎng)劃分的Delaunay三角網(wǎng)絡(luò)的具體構(gòu)網(wǎng)步驟為[19]：①將獲取到的雜散點(diǎn)云數(shù)據(jù)進(jìn)行格網(wǎng)塊劃分，按照劃分逆序?qū)Ω窬W(wǎng)塊內(nèi)的數(shù)據(jù)點(diǎn)依次構(gòu)建Delaunay三角網(wǎng)；②構(gòu)網(wǎng)過程中受相鄰格網(wǎng)中數(shù)據(jù)點(diǎn)影響的三角形與鄰近三角形暫時(shí)保存，完成構(gòu)建的三角網(wǎng)結(jié)果保存入數(shù)據(jù)庫；③合并臨近的Delaunay三角形子網(wǎng)并進(jìn)行優(yōu)化處理，改進(jìn)過后符合條件的三角形仍按照上述步驟中的構(gòu)網(wǎng)規(guī)則進(jìn)行處理；④直到完成格網(wǎng)中所有Delaunay三角網(wǎng)構(gòu)建[20]。

圖4 Voronoi圖和Delaunay圖Fig.4 Voronoi diagram and Delaunay diagram

對(duì)煤堆點(diǎn)云數(shù)據(jù)進(jìn)行Delaunay三角剖分后，將會(huì)獲得由大量三角面片組成的凸殼，將這些三角面片投影到地面上，就會(huì)形成數(shù)量龐大的三棱柱，因此，只需要計(jì)算出三棱柱的體積，即可獲得煤堆的體積。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)平臺(tái)的搭建與數(shù)據(jù)的獲取

本文運(yùn)行網(wǎng)絡(luò)模型的電腦配置為NVIDIA GTX 1080Ti顯卡，3.6 GHz、16 GB RAM的Intel Core i7-7700 CPU處理器，所使用的軟件為Spyder環(huán)境下的Tensorflow，計(jì)算機(jī)為Windows7系統(tǒng)。

由于建立數(shù)據(jù)集需要大量的三維點(diǎn)云數(shù)據(jù)，而真實(shí)煤堆的體積較為龐大，采集工作費(fèi)時(shí)費(fèi)力，因此，本文將通過在實(shí)驗(yàn)室人為搭建煤堆及煤堆所在的復(fù)雜環(huán)境來模擬真實(shí)礦場(chǎng)環(huán)境，采用體積為1 000 dm3左右的煤堆進(jìn)行實(shí)驗(yàn)驗(yàn)證。通過使用激光雷達(dá)掃描，共獲得36組三維點(diǎn)云數(shù)據(jù)，所搭建某一場(chǎng)景掃描獲得的點(diǎn)云見圖5。

圖5 搭建場(chǎng)景及其三維點(diǎn)云Fig.5 Built scene and its 3D point cloud

3.2 實(shí)驗(yàn)數(shù)據(jù)的預(yù)處理

由于振動(dòng)、空氣中的煤塵會(huì)產(chǎn)生噪聲點(diǎn)，這將極大影響點(diǎn)云數(shù)據(jù)的準(zhǔn)確性，因此，需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行降噪處理，本文采用中值濾波進(jìn)行降噪。中值濾波是將點(diǎn)云序列中的一個(gè)值用該點(diǎn)的鄰域中各點(diǎn)值的中值代替，讓其鄰域各點(diǎn)接近真實(shí)值，從而消除孤立的噪聲點(diǎn)。處理后的點(diǎn)云數(shù)據(jù)見圖6。由圖6可知，降噪處理有效降低了多余的數(shù)據(jù)點(diǎn)，減少了數(shù)據(jù)計(jì)算的工作量。對(duì)于其他場(chǎng)景下的點(diǎn)云數(shù)據(jù)也進(jìn)行相同的處理，隨后將這些數(shù)據(jù)進(jìn)行格式變換。使用激光雷達(dá)掃描后，獲得的點(diǎn)云數(shù)據(jù)格式為ply格式，利用Matlab將ply格式轉(zhuǎn)換為txt格式。

圖6 降噪處理后的點(diǎn)云數(shù)據(jù)Fig.6 Point cloud data after noise reduction processing

將數(shù)據(jù)集進(jìn)行分類，分為訓(xùn)練集，驗(yàn)證集和測(cè)試集。使用Cloud Compare軟件對(duì)訓(xùn)練集中的數(shù)據(jù)進(jìn)行標(biāo)注，區(qū)分出煤堆和其他目標(biāo)物，最后將txt文件轉(zhuǎn)換為h5格式，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

3.3 實(shí)驗(yàn)結(jié)果

對(duì)Point-Net神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了4 000次迭代，學(xué)習(xí)率采用指數(shù)衰減的方式更新，初始學(xué)習(xí)率定為0.5，動(dòng)量因子為0.9。多次調(diào)整超參數(shù)，最終mloU(平均交并比)達(dá)到93.43%，可以將煤堆與其他目標(biāo)物進(jìn)行分割，達(dá)到了語義分割的效果。分割前以及分割后可視化的效果見圖7，其中，中間區(qū)域?yàn)槊憾腰c(diǎn)云，兩端區(qū)域?yàn)槠渌h(huán)境點(diǎn)云。

圖7 點(diǎn)云分割的可視化Fig.7 Visualization of point cloud segmentation

使用Meshlab軟件對(duì)分割后的點(diǎn)云數(shù)據(jù)進(jìn)行刪減，最終形成的煤堆點(diǎn)云數(shù)據(jù)見圖8。由圖8可知，點(diǎn)云較為稀疏，有空洞，因此需要對(duì)點(diǎn)云進(jìn)行三維插值。通過配置PCL庫，對(duì)點(diǎn)云進(jìn)行補(bǔ)全。首先定義NAN點(diǎn)，為激光發(fā)射器發(fā)射出去的激光未收到返回光束或者激光接收器接收到的返回激光強(qiáng)度超出閾值范圍。補(bǔ)全規(guī)則為，每一線激光掃描得到一行點(diǎn)數(shù)據(jù)中，查找與NAN點(diǎn)最近的點(diǎn)進(jìn)行補(bǔ)全，如果本行數(shù)據(jù)全部為NAN(不可能發(fā)生)，則此行可刪除，調(diào)整點(diǎn)云尺寸。最后利用Matlab軟件對(duì)點(diǎn)云模型進(jìn)行Delaunay三角劃分，將該模型劃分成無數(shù)三棱柱，從而利用積分法計(jì)算其體積。操作流程見圖8。

圖8 體積計(jì)算流程圖Fig.8 Flow chart for volume calculation

圖9為分割后點(diǎn)云中的一個(gè)三棱柱，d點(diǎn)為△abc的質(zhì)心，根據(jù)a、b、c的坐標(biāo)可以計(jì)算出d點(diǎn)的坐標(biāo)，進(jìn)而求出質(zhì)心d與投影面之間的距離h，則該三棱柱的體積v即為高度h與投影面三角形面積s的乘積。整個(gè)煤堆體積計(jì)算公式見式(4)。

圖9 三棱柱示例圖Fig.9 Example diagram of triangular prism

(4)

式中，V為所有三棱柱體積總和，即為煤堆體積。

通過將煤堆放置在已知體積的容器中來獲得其真實(shí)體積，并與通過分割計(jì)算的體積進(jìn)行對(duì)比，實(shí)驗(yàn)測(cè)量了四組體積不同的煤堆，結(jié)果見表1。

表1 實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Comparison of experimental results

4 結(jié) 語

本文通過使用激光雷達(dá)掃描煤堆獲取其點(diǎn)云數(shù)據(jù)，并利用Point-Net神經(jīng)網(wǎng)絡(luò)對(duì)掃描獲取的點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，成功將煤堆點(diǎn)云數(shù)據(jù)從整體環(huán)境中分割出來，極大減少了人為分割點(diǎn)云的工作量。研究可知，Point-Net神經(jīng)網(wǎng)絡(luò)平均交并比在91%左右，可以較為精確地識(shí)別出煤堆的點(diǎn)云數(shù)據(jù)，具有一定的可靠性。同時(shí)，體積計(jì)算的相對(duì)誤差均在5%以下，精度較高，證明了該方法的有效性。計(jì)算得出的體積相對(duì)于實(shí)際體積較小，這是由于在點(diǎn)云數(shù)據(jù)分割過程中，有少量煤堆點(diǎn)云數(shù)據(jù)未被識(shí)別出來，造成計(jì)算出的體積偏小。另外，將點(diǎn)云數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)并最終計(jì)算體積結(jié)果平均時(shí)長(zhǎng)不超過10 min，說明該方法方便快捷的特點(diǎn)。研究表明，本文所提出的體積測(cè)量方法精度高，速度快，所需設(shè)備簡(jiǎn)單，成本較低，具有一定的先進(jìn)性和創(chuàng)新性。