李曉宇，陳 偉,2，楊 維，王文清，范偉強(qiáng)，田子建

(1.中國(guó)礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院，北京 100083; 2.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116; 3.北京交通大學(xué) 電子信息工程學(xué)院，北京 100044; 4.北京工業(yè)職業(yè)技術(shù)學(xué)院，北京 100042)

近年，我國(guó)對(duì)煤礦安全生產(chǎn)監(jiān)管力度的不斷增強(qiáng)，為了從根源遏制煤礦災(zāi)害事故的發(fā)生，安全監(jiān)控系統(tǒng)的配備已成為煤礦安全生產(chǎn)[1]中必不可少的一項(xiàng)工作。礦井視頻監(jiān)控中圖像[2]信息的分析與處理是實(shí)現(xiàn)井下人員智能化管理、檢測(cè)識(shí)別[3-4]、定位跟蹤[5-6]的關(guān)鍵技術(shù)，對(duì)于煤礦的高效生產(chǎn)以及煤炭工業(yè)的可持續(xù)發(fā)展具有重要意義[7]。人員圖像分割是計(jì)算機(jī)視覺在礦井智能監(jiān)控應(yīng)用中的一項(xiàng)核心內(nèi)容，對(duì)視頻圖像中人員目標(biāo)的行為分析與狀態(tài)預(yù)測(cè)奠定了研究基礎(chǔ)，同時(shí)也是礦井人員圖像處理中的難題之一。

煤礦井下環(huán)境特殊，受粉塵干擾[8]、噪聲大、光照條件差等多種惡劣條件影響，使得所采集人員視頻圖像存在照度不均勻[9-10]、顏色信息失真、陰影分布隨機(jī)、目標(biāo)與背景邊界難以區(qū)分等缺陷，這直接增加了人員目標(biāo)分割難度，更不利于人員檢測(cè)識(shí)別與定位跟蹤等技術(shù)的應(yīng)用。安全帽是礦井工作人員必須佩戴的重要安全防護(hù)設(shè)備，是保障人員安全作業(yè)的必要條件[11]，安全帽的存在代表著人員的存在。安全帽分割可促進(jìn)基于計(jì)算機(jī)視覺的礦井人員調(diào)度管理、目標(biāo)檢測(cè)識(shí)別及其位置信息預(yù)測(cè)等相關(guān)技術(shù)的應(yīng)用，可提高對(duì)人員作業(yè)區(qū)域的管控效率，同時(shí)也可有效降低分割人員全身的復(fù)雜度[12]，壓縮算法對(duì)人員圖像的數(shù)據(jù)處理量。

人員安全帽圖像分割是根據(jù)井下人員圖像的顏色、紋理、輪廓形狀特征將人員圖像中的像素分類為安全帽與背景2個(gè)相互獨(dú)立的像素子區(qū)域，同一子區(qū)域內(nèi)的像素具有相似的圖像特征，不同子區(qū)域內(nèi)像素的圖像特征具有較大差異，從而將感興趣的安全帽像素區(qū)域從人員圖像中分離出來(lái)。自20世紀(jì)70年代起，圖像分割就開始吸引了越來(lái)越多學(xué)者的研究，至今為止產(chǎn)生的分割方法主要有基于圖像灰度特征的閾值法[13]、像素點(diǎn)區(qū)域生長(zhǎng)法[14]、邊緣檢測(cè)法[15]、基于圖論的圖割法[16]、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)法[17]等幾大類。閾值法的關(guān)鍵在于灰度閾值的合理選取，適合處理目標(biāo)與背景灰度界別分明的圖像;區(qū)域生長(zhǎng)法對(duì)缺乏先驗(yàn)信息的圖像分割效果較為理想，但易導(dǎo)致過度分割;邊緣檢測(cè)法容易出現(xiàn)邊界輪廓線間斷，圖像區(qū)域結(jié)構(gòu)性差;圖割法需要用戶在圖像分割過程中指定目標(biāo)與背景，不適合自動(dòng)分割;深度神經(jīng)網(wǎng)絡(luò)分割法需要輸入的數(shù)據(jù)量大，處理時(shí)間較長(zhǎng)且對(duì)計(jì)算機(jī)硬件要求較高。上述方法雖已成熟應(yīng)用于各類場(chǎng)景的圖像分割問題，但每種方法都有其各自的應(yīng)用特點(diǎn)，在礦井視頻圖像處理方面的結(jié)果難以滿足實(shí)際需求。

超像素分割方法[18-20]彌補(bǔ)了以上方法均未考慮像素間空間結(jié)構(gòu)聯(lián)系的不足，它將目標(biāo)圖像劃分為顏色、紋理及亮度特征相近的不規(guī)則超像素塊，即用少量的超像素表示圖像中大量的像素特征。其中，簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering,SLIC)模型[21-22]生成的超像素緊湊整齊、大小均勻，對(duì)目標(biāo)邊界具有較好的貼合效果，在各種隨機(jī)復(fù)雜場(chǎng)景的分割中表現(xiàn)出良好的魯棒性和適應(yīng)性。支持向量機(jī)(Support Vector Machines,SVM)作為一種具有良好分類學(xué)習(xí)性能的分類器[23]，在有關(guān)圖像語(yǔ)義分割的像素分類應(yīng)用中展現(xiàn)出了一定優(yōu)勢(shì)[24-26]。因此，筆者將SLIC超像素粒化與SVM分類超像素相結(jié)合的方法應(yīng)用于礦井人員圖像安全帽分割中，采用SLIC模型將人員圖像像素點(diǎn)聚類為具有相似圖像特征的超像素，提取超像素的顏色、紋理特征訓(xùn)練SVM分類器并用于對(duì)測(cè)試樣本進(jìn)行分類預(yù)測(cè)，通過安全帽輪廓模型幾何特性修正SVM誤分類的正樣本超像素，檢測(cè)修正后的正樣本超像素中是否包含欠分割樣本，如有則通過安全帽正樣本區(qū)域邊界掩模與Prewitt算子所獲取的輪廓線差集對(duì)欠分割樣本進(jìn)行二級(jí)像素分割，將其中的安全帽像素部分分離出來(lái)，從而實(shí)現(xiàn)安全帽的完整分割。

1 人員圖像超像素?；?/h2>

人員圖像超像素?；痆12]是由SLIC模型將整幅人員圖像分解為一定數(shù)量的像素點(diǎn)集合，每個(gè)集合可視為一個(gè)內(nèi)部像素點(diǎn)具有相似性圖像特性的超像素。因此，通過這種改變?nèi)藛T圖像表示形式的方法可以突出圖像的內(nèi)部像素特征，使得人員圖像便于理解和分析，為后期研究超像素之間的特征聯(lián)系和空間結(jié)構(gòu)關(guān)系，以及在SVM分類中的應(yīng)用奠定基礎(chǔ)。

SLIC模型是RADHAKRISHNA等[21]于2010年提出的算法。SLIC模型首先將人員圖像由RGB空間轉(zhuǎn)化到CIELab顏色空間獲取其三維顏色分量L，a，b，結(jié)合像素點(diǎn)二維坐標(biāo)x，y可得到每個(gè)像素點(diǎn)的五維特征向量V=[L,a,b,x,y]，然后通過向量V計(jì)算像素點(diǎn)之間的顏色距離相似度，從而對(duì)人員圖像像素點(diǎn)進(jìn)行局部聚類，得到人員圖像的超像素?；Y(jié)果。SLIC對(duì)人員圖像的粒化效果與其輸入的預(yù)分割超像素?cái)?shù)量N密切相關(guān)，N值的大小變化直接關(guān)系人員圖像的粒化結(jié)果。本節(jié)以圖1為例對(duì)最佳N值的選取方法展開分析論述，為使所選取的N值具有全局代表性，隨機(jī)選取實(shí)驗(yàn)采集圖像總量的1/3作為求解最優(yōu)N值的測(cè)試樣本。方法步驟如下:

(1)選取樣本圖像并備份，用ImageLabeler工具對(duì)備份人員圖像中的安全帽區(qū)域進(jìn)行像素級(jí)標(biāo)注，同時(shí)記錄標(biāo)注圖像中安全帽區(qū)域的像素點(diǎn)位置l，如圖1所示。

(2)在一定范圍內(nèi)輸入不同的N值對(duì)原樣本圖像進(jìn)行SLIC超像素?；瑢?duì)應(yīng)的?；Y(jié)果如圖2所示。

圖1 人員圖像安全帽像素區(qū)域標(biāo)注Fig.1 Labeling of safety helmet pixels region in personnel image

圖2 SLIC?；藛T圖像Fig.2 SLIC granulates the personnel image

(3)提取樣本圖像中各超像素的像素點(diǎn)位置l′N，與(1)中對(duì)應(yīng)的l求交集運(yùn)算IN=l∩l′N。定義IN中全部像素點(diǎn)均屬于l的超像素為安全帽超像素，IN中全部像素點(diǎn)均不屬于l的超像素為背景超像素。

(4)統(tǒng)計(jì)不同N值下的安全帽超像素?cái)?shù)量n，定義n與N的比值為安全帽超像素?；瘻?zhǔn)確率r，對(duì)應(yīng)計(jì)算結(jié)果如圖3所示。圖3中,r整體上隨N值的增加而上升，但上升到較高值的局部區(qū)間內(nèi)N值增大r反而降低或保持不變，如當(dāng)N=180和N=190時(shí)，r均達(dá)到最高值0.95，因此，兼顧SLIC的計(jì)算代價(jià)選擇較小N值所對(duì)應(yīng)的最高r為最佳N值。

圖3 不同N值下的安全帽超像素?；瘻?zhǔn)確率Fig.3 Superpixel granulation accuracy of the safety helmet with different N values

(5)記錄樣本圖像的分辨率大小與其對(duì)應(yīng)的最佳N值。

2 超像素特征提取

筆者采用SVM分類器將人員圖像超像素分為安全帽與非安全帽2個(gè)類別。SVM是一種以監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的分類器模型，因此需要事先準(zhǔn)備訓(xùn)練數(shù)據(jù)。本節(jié)主要提取人員圖像超像素的顏色、紋理特征以及安全帽輪廓幾何特征，其中顏色特征與紋理特征用于訓(xùn)練SVM分類器，安全帽輪廓幾何特征的研究對(duì)象為全部正樣本超像素構(gòu)成的正樣本區(qū)域輪廓，用作之后修正SVM錯(cuò)分類正樣本的依據(jù)。

2.1 顏色特征

顏色特征是圖像分割應(yīng)用中最為廣泛直觀的一種視覺特征，它與圖像中不同類型的目標(biāo)和場(chǎng)景密切相關(guān)，可在不受圖像自身屬性的影響下區(qū)別具有不同語(yǔ)義信息的像素區(qū)域，因此在分割過程中具有較強(qiáng)的魯棒性。常用的顏色空間模型主要有RGB，YCbCr，HSV，CIELab，CMYK，HSI等，每種模型都有適合其自身模型特點(diǎn)的適用背景。結(jié)合本文中井下人員圖像的實(shí)際特點(diǎn)與安全帽分割任務(wù)的顏色特征需求，選取RGB，YCbCr，HSV，CIELab四種模型描述人員安全帽圖像的顏色特征。RGB顏色模型利用R，G，B三個(gè)分量顏色通道的變化以及3者相互疊加的方式獲取到各式各樣的顏色，R，G，B分別代表紅、綠、藍(lán)3個(gè)通道的顏色，RGB標(biāo)準(zhǔn)基本包括了人類視覺所能感知的所有顏色，是目前運(yùn)用最為廣泛的顏色模型之一;YCbCr顏色模型中Y代表顏色亮度成分，Cb和Cr分別為藍(lán)色和紅色的濃度偏移量成分，即Cb描述了RGB中藍(lán)色分量與RGB信號(hào)亮度值之間的差異，Cr描述了RGB中紅色分量與RGB信號(hào)亮度值之間的差異;HSV顏色模型中H為由角度度量的色調(diào)，對(duì)應(yīng)取值為0°～360°，S為飽和度，對(duì)應(yīng)取值為0～100%，其值越大則說(shuō)明顏色飽和程度越高，V為顏色明亮程度，對(duì)應(yīng)取值為0～100%;CIELab顏色模型中L為亮度，a，b分別為2個(gè)不同的顏色通道，其顏色混合后將產(chǎn)生具有明亮效果的色彩。

因此，人員圖像超像素在4種顏色模型下的特征分量可組成一個(gè)12維的顏色特征數(shù)組VC，即

VC=[R,G,B,Y,Cb,Cr,H,S,V,L,a,b]

(1)

2.2 紋理特征

紋理是描述圖像同質(zhì)像素區(qū)域表面變化現(xiàn)象的一種視覺特征，它表現(xiàn)為像素點(diǎn)及其鄰域空間內(nèi)像素點(diǎn)的灰度分布，具有局部性特點(diǎn)，局部紋理特征以不同形式重復(fù)出現(xiàn)的情況即為全局紋理特征。由于井下人員安全帽與人員皮膚、工作服、環(huán)境背景等像素區(qū)域具有明顯的紋理差異，因此利用紋理特征區(qū)別安全帽與非安全帽超像素是一種有效的分割方法。常規(guī)的紋理特征描述方法主要有統(tǒng)計(jì)法、幾何法、模型法、信號(hào)處理法及結(jié)構(gòu)分析法等，利用灰度直方圖的矩表達(dá)圖像紋理信息[27]是基于統(tǒng)計(jì)模型的代表性方法，簡(jiǎn)單易實(shí)現(xiàn)，對(duì)不同的圖像具有較強(qiáng)的適應(yīng)性。超像素直方圖反映了人員圖像超像素中像素灰度值在各灰度級(jí)上所出現(xiàn)的頻率，通過研究超像素中像素灰度分布均值的多階矩來(lái)描述超像素的紋理特征，具體由灰度值的分散度(Dispersion)、方差(Variance)、偏度(Deviation)、峰度(Kurtosis)4個(gè)屬性來(lái)表現(xiàn)。設(shè)k表示像素灰度值，x表示灰度級(jí)，f(k)表示超像素對(duì)應(yīng)的灰度直方圖函數(shù)，k的均值M的計(jì)算公式為

(2)

分散度Di為M的一階矩，計(jì)算公式為

(3)

方差Va為M的二階矩，計(jì)算公式為

(4)

偏度De為M的三階矩，計(jì)算公式為

(5)

峰度Ku為M的四階矩，計(jì)算公式為

(6)

2.3 輪廓特征

安全帽嚴(yán)格按照國(guó)家標(biāo)準(zhǔn)GB 2811—2019[28]進(jìn)行生產(chǎn)，是礦井人員圖像中最具顯著性特征的像素區(qū)域，除具有特定的顏色種類之外還有固定的輪廓特征。安全帽中帽殼部分是本節(jié)分析安全帽形態(tài)特征的主要研究對(duì)象。圖4為不同角度下所采集的部分安全帽圖像，由圖4可知，除帽沿和帽舌以外的安全帽主體部分呈現(xiàn)類似半球狀的形態(tài)，外部輪廓基本由閉合曲線構(gòu)成，其幾何特征較為突出。因此本節(jié)對(duì)安全帽二維輪廓幾何特征進(jìn)行建模分析。

對(duì)安全帽輪廓進(jìn)行提取(圖5)，圖5(c)為根據(jù)標(biāo)記像素區(qū)域提取安全帽輪廓。

圖4 不同角度下的安全帽輪廓形態(tài)Fig.4 Contour shape of the safety helmet at different angles

圖5 安全帽輪廓提取Fig.5 Safety helmet contour extraction

圖6 安全帽輪廓模型Fig.6 Model of safety helmet contour

對(duì)于相鄰安全帽之間有部分遮擋的情況，多個(gè)安全帽輪廓相交后必定會(huì)出現(xiàn)輪廓線交點(diǎn)，交點(diǎn)兩側(cè)的輪廓線為無(wú)遮擋情況下完整輪廓的一部分。因此，只要由遮擋所產(chǎn)生安全帽輪廓交點(diǎn)兩側(cè)的形態(tài)特征符合上述無(wú)遮擋情況下形態(tài)特征的一部分，則可作為判定有遮擋情況下安全帽幾何輪廓特征的條件。

綜上所述，C上必然存在Tp與Mp兩種點(diǎn)類型，可能存在最多兩個(gè)“凸起”，且位于Tp，Mp與“凸起”區(qū)間內(nèi)的曲線段Cj(j=1,2,…,n，n為C上位于任意兩點(diǎn)之間曲線段的數(shù)量)的斜率絕對(duì)值|kCj|在安全帽圖像水平X或垂直Y方向上單調(diào)變化，因此，單調(diào)區(qū)間內(nèi)P點(diǎn)的像素坐標(biāo)x，y在XY平面上具有一致的移動(dòng)方向。

不同于以上顏色與紋理特征，安全帽輪廓幾何特性的研究對(duì)象是安全帽超像素聯(lián)合組成的安全帽超像素集S，即所有安全帽超像素相互融合生成的安全帽區(qū)域輪廓。

3 SVM分類超像素

3.1 SVM分類器訓(xùn)練及預(yù)測(cè)分類

SVM作為一種以監(jiān)督型學(xué)習(xí)方式對(duì)樣本數(shù)據(jù)進(jìn)行分類學(xué)習(xí)的分類器，需要預(yù)先輸入訓(xùn)練樣本變量類型及其觀測(cè)值訓(xùn)練SVM。實(shí)驗(yàn)從數(shù)據(jù)集剩余的2/3幅人員圖像中再次隨機(jī)抽取1/3作為SVM的訓(xùn)練數(shù)據(jù)集，根據(jù)第1節(jié)算法從中選擇最接近訓(xùn)練數(shù)據(jù)集圖像分辨率所對(duì)應(yīng)的最佳N值，輸入SLIC模型對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行超像素?；?。圖7為粒化后的部分安全帽正樣本與背景負(fù)樣本示意圖，選取安全帽正樣本超像素496個(gè)，背景負(fù)樣本超像素1 828個(gè)，根據(jù)2.2節(jié)中對(duì)超像素特征提取的分析，選擇超像素顏色與紋理共16個(gè)特征分量組成V′參與SVM訓(xùn)練，定義為

V′=[R,G,B,Y,Cb,Cr,H,S,V,L,a,b,Di,Va,De,Ku]

(7)

圖7 部分SVM訓(xùn)練樣本Fig.7 Part of SVM training samples

設(shè)置安全帽正樣本超像素標(biāo)簽為“1”，背景負(fù)樣本超像素標(biāo)簽為“0”。采用交叉驗(yàn)證方式評(píng)估SVM對(duì)測(cè)試樣本分類準(zhǔn)確率的預(yù)測(cè)能力，通過計(jì)算SVM的錯(cuò)誤預(yù)測(cè)損失值classLoss評(píng)估其分類準(zhǔn)確率，一定數(shù)值的classLoss說(shuō)明了該SVM分類器對(duì)未知測(cè)試樣本的錯(cuò)誤預(yù)測(cè)概率。本節(jié)中所訓(xùn)練SVM的classLoss=0.277 1，顯然，classLoss值偏高，說(shuō)明該SVM對(duì)測(cè)試樣本的預(yù)測(cè)誤差較大。因此，為提高SVM的預(yù)測(cè)準(zhǔn)確率，采用自動(dòng)超參數(shù)優(yōu)化方式訓(xùn)練SVM，核函數(shù)類型為L(zhǎng)iner線性核函數(shù)，優(yōu)化參數(shù)為BoxConstraint和KernelScale。SVM超參數(shù)優(yōu)化求取最小目標(biāo)值計(jì)算與目標(biāo)函數(shù)模型如圖8所示。

SVM超參數(shù)優(yōu)化后的相關(guān)參數(shù)值見表1，函數(shù)總共計(jì)算30次，總目標(biāo)函數(shù)計(jì)算時(shí)間44.559 1 s。經(jīng)超參數(shù)優(yōu)化后再次計(jì)算SVM的錯(cuò)誤預(yù)測(cè)損失值，此時(shí)classLoss=0.156 6，說(shuō)明經(jīng)超參數(shù)優(yōu)化訓(xùn)練的SVM對(duì)未知測(cè)試樣本的預(yù)測(cè)誤差相對(duì)較小。

圖8 SVM超參數(shù)優(yōu)化模型Fig.8 Model of SVM hyper-parameter optimization

表1 SVM超參數(shù)優(yōu)化相關(guān)參數(shù)情況Table 1 Related parameters of SVM hyper-parameter optimization

再次根據(jù)第1節(jié)算法從中選擇最接近測(cè)試數(shù)據(jù)集圖像分辨率所對(duì)應(yīng)的最佳N值，輸入SLIC模型對(duì)最后剩余的1/3幅測(cè)試集人員圖像進(jìn)行超像素?；?。人員圖像經(jīng)SLIC模型?；螅瑸楸阌诔袼氐姆诸愖R(shí)別，對(duì)測(cè)試樣本超像素做編號(hào)標(biāo)記La(a=1,2,…,m，m為測(cè)試樣本超像素?cái)?shù)量)，并將其輸入到經(jīng)超參數(shù)優(yōu)化方式訓(xùn)練好的SVM進(jìn)行預(yù)測(cè)分類，分類結(jié)果輸出測(cè)試樣本的預(yù)測(cè)標(biāo)簽及置信度，置信度值為正數(shù)對(duì)應(yīng)正樣本標(biāo)簽“1”，置信度值為負(fù)數(shù)對(duì)應(yīng)負(fù)樣本標(biāo)簽“0”，分別代表安全帽超像素與背景超像素。表2為測(cè)試樣本圖像中超像素經(jīng)SVM分類后的部分樣本信息，圖9為SVM對(duì)部分人員圖像的預(yù)測(cè)結(jié)果，由表2和圖9可知，超像素的分類準(zhǔn)確度并沒有達(dá)到期望效果，部分正樣本安全帽超像素被誤分為背景，部分背景負(fù)樣本超像素被誤分為安全帽(由于本文研究重點(diǎn)為安全帽正樣本超像素，因此圖9(c)中只給出了SVM分類后的正樣本超像素)。

3.2 超像素類別修正

由于3.1節(jié)所選取參與SVM訓(xùn)練的超像素訓(xùn)練樣本在整體數(shù)據(jù)樣本集中缺乏全局代表性[24]，同時(shí)訓(xùn)練所得SVM分類器本身對(duì)測(cè)試樣本的預(yù)測(cè)能力有限，因此存在少量正樣本被誤分為負(fù)樣本或負(fù)樣本被誤分為正樣本的現(xiàn)象。為補(bǔ)償SVM對(duì)安全帽正樣本的分類誤差，本節(jié)利用2.3節(jié)中的安全帽輪廓模型幾何特性對(duì)誤分類樣本進(jìn)行類別修正，修正算法步驟如下:

(1)提取圖9(c)中經(jīng)SVM初步預(yù)測(cè)后的正樣本超像素區(qū)域邊界掩模Bm，為便于觀察其輪廓幾何特征，對(duì)Bm采用形態(tài)學(xué)膨脹算子處理，如圖10(a)所示。

表2 SVM分類后部分超像素樣本信息Table 2 Part of superpixel sample information after SVM classification

(5)循環(huán)執(zhí)行步驟(2)～(4)，直至遍歷完圖10(a)中的所有Bm，修正后的正樣本結(jié)果如圖10(b)所示。

3.3 欠分割樣本超像素處理

(1)提取圖10(b)中第3幅圖經(jīng)修正后的正樣本超像素區(qū)域邊界掩模Bmc，對(duì)Bmc進(jìn)行形態(tài)學(xué)膨脹處理，如圖11(a)所示。

(2)采用Prewitt算子提取圖10(b)中對(duì)應(yīng)正樣本區(qū)域輪廓Pb，如圖11(b)所示。

(3)求取Bmc與Pb的差集D。若D=?，將圖10(b)作為安全帽的最終分割結(jié)果;若D≠?，則保留D并提取其所在超像素編號(hào)La。

(4)根據(jù)D所在的像素點(diǎn)邊界線將超像素L分解為2個(gè)子超像素Lp，Ln，其中Lp為正樣本安全帽超像素，Ln為負(fù)樣本背景超像素。

(5)在圖10(b)的結(jié)果上保留Lp、濾除Ln，更新得到如圖11(c)所示的安全帽分割效果。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)所用圖像數(shù)據(jù)主要源自寧夏馬家灘鎮(zhèn)雙馬煤礦。雙馬煤礦圖像采集儀器為DS-FB4024海康威視防爆攝像機(jī)(最大分辨率可達(dá)1 920 piex×1 080 piex，CMOS圖像傳感器，可支持溫度:-40～60 ℃，濕度小于95%相對(duì)濕度)?，F(xiàn)場(chǎng)拍攝環(huán)境:低照度，粉塵質(zhì)量濃度3.0～3.2 mg/m3，濕度50%～60%，溫度17～19 ℃，二氧化碳體積分?jǐn)?shù)0.035%～0.040%。計(jì)算機(jī)配置參數(shù):CPU處理器Intel(R)Core(TM)i5-1035G1，(1.0～3.6)GHz主頻，8 GB內(nèi)存，64-bit Windows10操作系統(tǒng)，MatlabR2019b編程工具。

煤礦井下特殊的光照條件會(huì)對(duì)人員圖像的成像質(zhì)量產(chǎn)生一定影響，使得位于光源附近人員圖像中安全帽的色彩飽和度、亮度及對(duì)比度相對(duì)較高，輪廓邊緣較易與圖像背景區(qū)分;位于光源遠(yuǎn)處的人員圖像中安全帽顏色灰暗、對(duì)比度及亮度較低，導(dǎo)致安全帽局部區(qū)域的圖像特征與背景差異較小，難以將安全帽邊緣分辨出來(lái)。同時(shí)，順光與逆光拍攝也會(huì)對(duì)安全帽的顏色特征產(chǎn)生一定影響。煤礦井下這種復(fù)雜的光照條件對(duì)人員圖像所造成的成像影響直接關(guān)系到SLIC對(duì)安全帽的超像素?；Ч俺袼仡伾卣鞯奶崛　Ｒ虼?，本文在分割安全帽之前對(duì)測(cè)試人員圖像進(jìn)行預(yù)處理操作，預(yù)處理可有效增強(qiáng)低照度場(chǎng)景下人員圖像中安全帽的顏色亮度[29]并降低由粉塵、煤塵等因素引起的噪聲干擾，以此突出安全帽的色調(diào)及其相關(guān)圖像特征。此外，對(duì)于一幅圖像中的單個(gè)人員安全帽，位于其不同距離方位下所拍攝的形態(tài)大小也不盡相同，大小差異會(huì)關(guān)聯(lián)到SLIC在固定的N值下?；藛T圖像后安全帽像素部分在Sp中的占比，若占比未達(dá)到1則說(shuō)明存在Upsp，需要后期進(jìn)行二級(jí)像素分類處理;如果一幅圖像中有多個(gè)人員安全帽，則某個(gè)角度下可能出現(xiàn)相鄰安全帽相互遮擋的現(xiàn)象，從而改變了單個(gè)安全帽模型的形態(tài)特征，這將關(guān)系到通過安全帽輪廓模型對(duì)正樣本的判別和分類修正。

圖10 正樣本修正Fig.10 Correction of positive samples

圖11 欠分割樣本像素級(jí)分類Fig.11 Pixel-level classification of under-segmented samples

圖12 人員圖像安全帽分割結(jié)果Fig.12 Personnel helmet images in different shooting scenarios

因此，為盡可能全面測(cè)試本文方法對(duì)多種場(chǎng)景下的人員安全帽分割效果，人員圖像以隨機(jī)拍攝的方式獲取，共采集300幅圖像用于本文實(shí)驗(yàn)，將其存儲(chǔ)為24位RGB顏色模式的jpg格式。實(shí)驗(yàn)從測(cè)試數(shù)據(jù)集中選取了基本涵蓋上述安全帽視覺特征的8幅圖像進(jìn)行測(cè)試分析，如圖12(a)所示。其中圖12(a)中1,2,3,8為多人安全帽圖像;圖12(a)中4，5，6，7為單人安全帽圖像；圖12(a)中1,2,3,6為近距離拍攝，圖12(a)中4,5,7,8為遠(yuǎn)距離拍攝;圖12(a)中4,6為順光拍攝，圖12(a)中5,7,8為逆光拍攝;圖12(a)中1,8包含安全帽正面角度特征，圖12(a)中1,2,3,6,8包含了安全帽在不同方位下的側(cè)面角度特征，圖12(a)中2包含了安全帽頂面角度特征，圖12(a)中4,5,7展現(xiàn)了安全帽背面角度特征;圖12(a)中3包含了安全帽有遮擋圖像特征。首先由SLIC將預(yù)處理后的測(cè)試圖像?；癁橐欢〝?shù)量的不規(guī)則超像素塊Sp，如圖12(b)所示，根據(jù)文中第2節(jié)方法提取Sp的顏色和紋理特征訓(xùn)練超參數(shù)優(yōu)化后的SVM，并對(duì)人員圖像超像素進(jìn)行正負(fù)樣本分類。提取SVM分類后的正樣本輪廓并對(duì)其進(jìn)行平滑處理，通過文中3.2節(jié)方法對(duì)錯(cuò)分類樣本進(jìn)行判別并修正其樣本標(biāo)簽，保留正樣本剔除負(fù)樣本。利用文中3.3節(jié)方法對(duì)包含背景像素點(diǎn)的欠分割正樣本超像素進(jìn)行二級(jí)像素分類，從中將不屬于安全帽正樣本像素區(qū)域的背景像素分離出去，得到如圖12(c)所示的安全帽最終分割結(jié)果。

文獻(xiàn)[12，24]均為基于SLIC超像素粒化與特征提取分類的目標(biāo)分割算法，因此將其2者作為本文算法的橫向?qū)Ρ人惴ā１疚乃惴ㄅc文獻(xiàn)[12]中所述HIGC實(shí)現(xiàn)后期目標(biāo)分割的方法進(jìn)行對(duì)比，與文獻(xiàn)[24]中所述超像素類別修正方法進(jìn)行對(duì)比，考慮到文獻(xiàn)[24]分割蘋果與本文分割安全帽的圖像特征差異，為保證算法處理的公平性，本節(jié)實(shí)驗(yàn)在濾除被錯(cuò)分類為正樣本的負(fù)樣本時(shí)將修正判別條件中正樣本相鄰的正樣本數(shù)量設(shè)置為0;在修正被錯(cuò)分類為負(fù)樣本的正樣本時(shí)將修正判別條件中負(fù)樣本相鄰的正樣本數(shù)量設(shè)置為大于1。圖12(d)為文獻(xiàn)[12]方法的分割結(jié)果，圖12(e)為文獻(xiàn)[24]方法的分割結(jié)果。由圖12可知，本文算法在處理包含安全帽多種視覺特征的圖像上較文獻(xiàn)[12]和[24]的分割效果要好，8幅圖像中無(wú)錯(cuò)分類為正樣本的負(fù)樣本超像素，且對(duì)Upsp的分割效果相對(duì)較為理想，基本能夠?qū)踩睆娜藛T圖像中準(zhǔn)確分割出來(lái)。

為進(jìn)一步驗(yàn)證本文安全帽分割方法的有效性，采用精確度Pr(Precision)和召回率Re(Recall)兩項(xiàng)分割指標(biāo)[30]對(duì)其性能進(jìn)行定量分析，Pr和Re越大，說(shuō)明算法分割性能越好，對(duì)應(yīng)計(jì)算公式為

(8)

(9)

式中，TP為檢索到的正樣本像素點(diǎn);FP為檢索到的負(fù)樣本像素點(diǎn);FN為未檢索到的正樣本像素點(diǎn)。

實(shí)驗(yàn)將數(shù)據(jù)集中剩余的1/3幅人員圖像作為測(cè)試集樣本并展開定量分析，備份測(cè)試集圖像并利用ImageLabeler對(duì)其中的安全帽像素區(qū)域做人工標(biāo)注，作為評(píng)估本文安全帽分割算法性能的參考標(biāo)準(zhǔn)。為便于對(duì)文中實(shí)驗(yàn)結(jié)果進(jìn)行全面分析，針對(duì)本節(jié)圖12(a)中8幅人員圖像所對(duì)應(yīng)3.1節(jié)、3.2節(jié)、3.3節(jié)、文獻(xiàn)[12，24]的實(shí)驗(yàn)結(jié)果分別計(jì)算其Pr與Re，定量實(shí)驗(yàn)分析結(jié)果見表3;針對(duì)測(cè)試集中的所有圖像，計(jì)算其對(duì)應(yīng)本文算法、文獻(xiàn)[12，24]的Pr與Re的均值，結(jié)果如圖13所示。

表3 算法分割性能對(duì)比Table 3 Algorithm segmentation performance comparison

圖13 測(cè)試集圖像指標(biāo)均值Fig.13 Average value of indicators in the test image set

橫向觀察表3中3.1～3.3節(jié)數(shù)據(jù)，可以看出，對(duì)于上述測(cè)試集中的8幅人員圖像，3.3節(jié)方法的Pr與Re均高于3.1節(jié)或3.2節(jié)，整體上表中對(duì)應(yīng)于每幅圖像的Pr與Re從左到右呈現(xiàn)增長(zhǎng)或保持不變的趨勢(shì)。針對(duì)圖12(a)中3,4,5,6,7，對(duì)應(yīng)3.2節(jié)與3.3節(jié)的Pr與Re保持不變是因?yàn)檫@4幅圖像經(jīng)過錯(cuò)分類樣本類別修正后的正樣本超像素中沒有出現(xiàn)Upsp，因此其對(duì)應(yīng)指標(biāo)值并未發(fā)生變化;針對(duì)圖12(a)中1,2,8對(duì)應(yīng)3.2節(jié)與3.3節(jié)的Re單獨(dú)保持不變是因?yàn)閷?duì)于Upsp的處理并未影響到正樣本像素的變化。同時(shí)，由表中后3列數(shù)據(jù)可知，本文算法3.3節(jié)的Pr與Re整體上高于文獻(xiàn)[12，24]，僅在圖12(a)中6,8的Pr值上略低于文獻(xiàn)[12,24]，但文獻(xiàn)[12,24]對(duì)應(yīng)于圖12(a)中6,8的分割結(jié)果中存在部分安全帽像素被誤分類為背景的情況，拉低了Re值，因此分割性能相對(duì)較差。縱向觀察表中3.3節(jié)數(shù)據(jù)，可以發(fā)現(xiàn)8幅人員圖像均具有相對(duì)較高的Pr與Re，基本能夠滿足安全帽分割實(shí)際要求。

由圖13可知，對(duì)于測(cè)試集中的所有人員圖像，其定量計(jì)算結(jié)果顯示:文獻(xiàn)[12]的Pr均值為77.42%、Re均值為87.32%，文獻(xiàn)[24]的Pr均值為68.67%、Re均值為75.59%，本文算法的Pr均值達(dá)到96.94%，Re均值達(dá)到95.83%，均優(yōu)于其他2種算法。由此說(shuō)明本文算法在使用SVM初始分類超像素樣本的基礎(chǔ)上，通過對(duì)錯(cuò)分類樣本類別的修正以及對(duì)Upsp的二級(jí)像素分類方法達(dá)到了提高算法分割性能的目的。同時(shí)，本文算法對(duì)井下各種場(chǎng)景下具有不同安全帽特點(diǎn)的人員圖像都具有較強(qiáng)的適應(yīng)能力，對(duì)不同色調(diào)形態(tài)的安全帽都能準(zhǔn)確分割，使得最終分割出的安全帽像素區(qū)域具有較高的Pr與Re，進(jìn)一步說(shuō)明本文算法對(duì)煤礦井下安全帽分割的魯棒性較強(qiáng)。

5 結(jié) 論

(1)針對(duì)煤礦井下特殊光照條件對(duì)人員圖像的成像影響，提出了基于超像素特征提取與SVM分類的安全帽分割方法。利用預(yù)處理后安全帽邊緣易與圖像背景區(qū)分的特點(diǎn)選擇SLIC模型粒化人員圖像，所生成的安全帽超像素塊能夠很好地?cái)M合安全帽邊界。

(2)通過提取安全帽超像素顏色與紋理特征訓(xùn)練SVM對(duì)測(cè)試圖像超像素進(jìn)行分類并通過安全帽輪廓模型修正錯(cuò)分類樣本，進(jìn)一步分離欠分割正樣本中的安全帽與背景像素點(diǎn)，得出最終的安全帽分割結(jié)果。

(3)實(shí)驗(yàn)對(duì)測(cè)試集中100幅井下人員圖像進(jìn)行測(cè)試，計(jì)算所得Pr均值達(dá)到96.94%，Re均值達(dá)到95.83%，二者較同類對(duì)比算法均表現(xiàn)出一定優(yōu)勢(shì)。

(4)對(duì)于圖像中安全帽特征并不顯著的情況，SLIC?；罂赡艹霈F(xiàn)部分安全帽像素與背景像素存在于同一超像素的現(xiàn)象，且所包含的安全帽像素位于其邊緣輪廓內(nèi)部區(qū)域，這易導(dǎo)致安全帽的漏分割。因此下一步工作是在預(yù)處理過程中研究對(duì)微小安全帽目標(biāo)進(jìn)行增強(qiáng)和邊緣突出等方法來(lái)提高其在圖像中的特征顯著性。