宛 鶴,陸笑科,屈娟萍,薛季瑋,張崇輝,王 森,卜顯忠

(1.西安建筑科技大學(xué)資源工程學(xué)院,陜西 西安 710055)

(2.奧盧大學(xué)奧盧礦業(yè)學(xué)院,奧盧 FI-90014,芬蘭)

0 引 言

泡沫浮選是一種依賴于有用礦物和脈石礦物的親水和疏水特性的選別方法,是礦物加工中的關(guān)鍵技術(shù)之一。泡沫浮選是一個(gè)復(fù)雜的過程,受很多因素的影響,包括礦物表面的物理性質(zhì)、礦漿的化學(xué)性質(zhì)和操作變量等。泡沫浮選圖像攜帶豐富的視覺信息,這與操作變量和產(chǎn)品質(zhì)量密切相關(guān)[1-3]。在浮選生產(chǎn)過程中,操作人員根據(jù)泡沫大小、顏色、紋理等視覺參數(shù)調(diào)整藥劑的投加量,將浮選狀態(tài)控制在特定范圍內(nèi)。然而,由于操作人員的主觀性,泡沫表面某些人眼難以察覺的微妙變化之處,以及人眼無法進(jìn)行精確的判斷,實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

隨著計(jì)算機(jī)視覺的快速發(fā)展,它在眾多領(lǐng)域得到了廣泛的應(yīng)用。在浮選背景下,機(jī)器視覺取代人類視覺,利用圖像處理技術(shù)自動(dòng)提取和量化泡沫圖像特征參數(shù),建立預(yù)測(cè)模型。這些模型將特征參數(shù)作為輸入,并提供品位[4]、回收率[5]和工況類別[6]等輸出結(jié)果。主要步驟包括圖像數(shù)據(jù)準(zhǔn)備、特征提取和關(guān)系模型建立。圖像數(shù)據(jù)準(zhǔn)備包括圖像數(shù)據(jù)增強(qiáng)和圖像預(yù)處理。由于浮選過程受到各種復(fù)雜因素的干擾,采集的圖像往往表現(xiàn)出高噪聲和不均勻的光照。因此,需要圖像預(yù)處理。例如,考慮到噪聲導(dǎo)致紋理特征提取的嚴(yán)重模糊,李建奇等[7]使用低頻和高頻定向分解對(duì)圖像進(jìn)行全局和局部去噪。低頻通道應(yīng)用多尺度Retinex算法進(jìn)行整體去噪,增強(qiáng)整體對(duì)比度和亮度,而高頻通道采用高斯混合尺度模型,利用貝葉斯最小二乘(BLS)估計(jì)進(jìn)行局部去噪(一種基于增強(qiáng)改進(jìn)的方向波變換的浮選泡沫圖像去噪方法)。為了解決光照不均勻、噪點(diǎn)和邊緣不清晰等問題,王宇龍等[8]提出了一種基于對(duì)比度有限自適應(yīng)直方圖均衡(CLAHE)和三維塊匹配3D濾波(BM3D)的浮選泡沫圖像預(yù)處理方法。圖像數(shù)據(jù)增強(qiáng)[2]主要涉及通過旋轉(zhuǎn)和裁剪等方法擴(kuò)展數(shù)據(jù)集,如圖1所示。在獲得清晰的整體泡沫圖像后,提取圖像特征以建立相關(guān)的關(guān)系模型,主要包括機(jī)器學(xué)習(xí)、深度卷積神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí),根據(jù)其分析目標(biāo)進(jìn)行模型的驗(yàn)證分析。

圖1 浮選泡沫原圖和增強(qiáng)后的圖像

無論最終的分析目標(biāo)是何種指標(biāo),泡沫特征參數(shù)作為中間變量肯定是越相關(guān)預(yù)測(cè)效果越精確。本文總結(jié)歸納了近幾年浮選泡沫圖像特征提取算法的研究進(jìn)展,分析了這些算法的優(yōu)缺點(diǎn),最后對(duì)浮選泡沫圖像特征提取算法的研究方向進(jìn)行了展望。

1 基于傳統(tǒng)人工方法的浮選泡沫圖像特征提取

1.1 靜態(tài)特征

1.1.1 形態(tài)特征

浮選礦漿中泡沫尺寸的分布情況是評(píng)估浮選泡沫狀態(tài)的關(guān)鍵信息,因?yàn)榕菽拇笮≈苯佑绊戭w粒與泡沫的碰撞和附著概率。同時(shí),它也是觀察充氣量、pH值變動(dòng)、浮選藥劑添加量以及表面泡沫附著量等因素的可視化指標(biāo)。為了獲取泡沫的形態(tài)參數(shù)需要對(duì)泡沫表面進(jìn)行分割,以揭示每個(gè)氣泡的形狀分布。這里,主要討論廣泛應(yīng)用的分水嶺算法。

Wang等[9]為了解決泡沫圖像邊緣模糊以及亮點(diǎn)的影響,提出了一種改進(jìn)的多尺度Retinex(MSR)自適應(yīng)圖像補(bǔ)償算法,增強(qiáng)泡沫紋理細(xì)節(jié)和弱邊緣,最后對(duì)處理過的圖像進(jìn)行分割,分割精確度提高了26%。Zhang等[10]則首先用分水嶺算法進(jìn)行粗分割,然后對(duì)粗分割后的圖像進(jìn)行過分割或欠分割的識(shí)別,針對(duì)識(shí)別結(jié)果進(jìn)行詳細(xì)分割或區(qū)域合并,以獲得目標(biāo)圖像并提取出氣泡尺寸的概率密度函數(shù)作為加權(quán)平均尺寸特征;根據(jù)浮選工況將泡沫分為4類,并結(jié)合標(biāo)記提取,形成最優(yōu)標(biāo)記區(qū)域。為了使分割算法適應(yīng)浮選工況,Liang等[11]提出了一種基于亮點(diǎn)修正與參數(shù)自適應(yīng)的泡沫圖像分割方法,準(zhǔn)確提取了泡沫的亮點(diǎn)特征;改進(jìn)了基于模糊C-均值(FCM)的聚類算法和分水嶺分割算法,從而成功解決了傳統(tǒng)分水嶺分割算法的欠分割或過分割問題。Peng等[12]提出的基于標(biāo)記的分水嶺算法,為了改善前景標(biāo)記的提取,將FCM算法、形態(tài)學(xué)重建方法和自適應(yīng)閾值方法3種方法進(jìn)行了整合;最后使用高斯-拉普拉斯算子和形態(tài)算子提取邊緣線,并重新建立梯度圖的梯度約束,以減少由亮邊和暗塊引起的偏移線移位,從而得到了最優(yōu)分割線。

目前,分水嶺算法被廣泛應(yīng)用于泡沫的分割,但是直接對(duì)泡沫圖像進(jìn)行分水嶺分割可能會(huì)導(dǎo)致欠分割和過分割的問題。因此,大多數(shù)研究都會(huì)根據(jù)泡沫圖像的具體情況進(jìn)行形態(tài)學(xué)預(yù)處理或聚類處理,以便更好地區(qū)分前景和背景區(qū)別,達(dá)到滿意的分割效果,但這也造成了分割算法的特殊性。

1.1.2 顏色特征

泡沫的顏色深淺通常也是浮選操作員控制藥劑的條件之一,亦能反映出泡沫里礦物的種類和濃縮的信息。Mikail Bait等[13]利用RGB原理算法求出煤表面的色度值,驗(yàn)證其與煤質(zhì)參數(shù)的相關(guān)性。依據(jù)鋁土礦在自然條件下是紅色的特性,其在浮選過程中的顏色變化是不可忽視的,RGB顏色空間中R值尤為重要,所以計(jì)算每個(gè)單色分量及其灰度圖像的平均值得出最終的相對(duì)紅色分量,以此作為鋁土礦精礦品位預(yù)測(cè)模型的輸入條件之一[14]。RGB顏色空間的R、G、B 3個(gè)分量在通常情況下區(qū)分不明顯,Wang等[15]認(rèn)為HIS顏色空間原理更接近人的視覺感知。Jahedsaravani等[16]以硫化銅浮選現(xiàn)場(chǎng)采集到的泡沫圖像為研究對(duì)象,提取其R、G、B 3個(gè)分量平均值,避免環(huán)境因素影響,將極暗、極亮的強(qiáng)度值均排除,最后將與品位、回收率相關(guān)性最強(qiáng)的R分量作為代表。

顏色恒常原理就是利用人眼對(duì)物體本來的顏色均能明顯感知,對(duì)顏色進(jìn)行校正,消除外部光照變化對(duì)泡沫顏色特征測(cè)量的不利影響。陳寧等[17]對(duì)樣本圖像庫(kù)進(jìn)行統(tǒng)計(jì)建模,轉(zhuǎn)化為分布統(tǒng)計(jì)特征參數(shù)集,采用5種常用的顏色恒常性算法進(jìn)行顏色校正,選擇角度偏差最小的作為最佳校正方法,利用K-近鄰(K-NN)算法為待測(cè)泡沫圖像選擇最佳的顏色恒常算法,實(shí)現(xiàn)顏色校正的最佳自發(fā)選擇。不同于傳統(tǒng)的圖像建模和顏色恒常性的顏色校正,Liu等[18]利用兩個(gè)生成對(duì)抗網(wǎng)絡(luò)(GANs)實(shí)現(xiàn)了圖像顏色到顏色的轉(zhuǎn)換,在泡沫紋理結(jié)構(gòu)等不發(fā)生變化的情況下,對(duì)圖像顏色進(jìn)行最佳校正,由此達(dá)到了在任意光照條件下能夠提取光照不變的顏色特征,同時(shí)對(duì)抗網(wǎng)絡(luò)能進(jìn)行更新,適應(yīng)生產(chǎn)操作條件的變化。

1.1.3 紋理特征

浮選泡沫的表面紋理特征變化反映了浮選工況的變化過程。常用的紋理分析方法主要有灰度共生矩陣和基于小波變換的濾波方法,針對(duì)復(fù)雜的浮選生產(chǎn)過程,灰度共生矩陣由于計(jì)算量大、特征過多而不適用。唐朝暉等[19]采用采用二維離散小波變換,描述了泡沫紋理、邊緣等細(xì)節(jié)信息以及輪廓信息。灰度共生矩陣(GLCM)紋理特征提取的研究對(duì)象是灰度圖像,忽略圖像顏色信息,因此Gui等[20]提出基于顏色共生矩陣(CCM)的紋理特征提取,顏色空間采用HIS空間更易人體視覺感知,計(jì)算出6個(gè)層次的共生矩陣,最后計(jì)算同質(zhì)性、對(duì)比性、相關(guān)性、方差、差矩逆這5個(gè)統(tǒng)計(jì)數(shù)據(jù)來代表紋理特征。而He等[21]的顏色空間采用的是HSV空間,計(jì)算泡沫紋理單位數(shù),氣泡紋理單位數(shù)的概率密度函數(shù)是呈非正態(tài)多峰分布,而傳統(tǒng)方法通常將其假設(shè)為正態(tài)分布,求解其均值或是方差,加上數(shù)學(xué)模型本身的不確定,概率密度函數(shù)能更全面的描述未知的礦物浮選泡沫圖像。Tamura 算法描述了圖像的粗糙度、對(duì)比度、方向度、線性度、規(guī)則度和粗略度這6種特征參數(shù)。梁秀滿[22]采用粗糙度、對(duì)比度、方向度 3 方面紋理特征參量。

灰度紋理特征、局部二進(jìn)制及其改進(jìn)算法均提取的是泡沫圖像的靜態(tài)紋理特征,不包含圖像之間有價(jià)值的時(shí)間信息,對(duì)于浮選工況判定而言,具有豐富時(shí)間信息的動(dòng)態(tài)紋理特征是首選,再結(jié)合泡沫圖像的復(fù)雜性及泡沫紋理的多變性,Luo等[23]提出3個(gè)正交面上進(jìn)行灰度共生矩陣和局部二進(jìn)制模式的紋理特征提取,包含宏觀和微觀的紋理結(jié)構(gòu),同時(shí)包括豐富的時(shí)間信息。在泡沫浮選過程中,可根據(jù)泡沫的變化分為3個(gè)階段,馬逸文[24]分析這3個(gè)階段的灰度直方圖可知：分布總體表現(xiàn)相同,但低灰度區(qū)域的表現(xiàn)有明顯差異,因此可以利用直方圖進(jìn)行紋理識(shí)別,接著從均值、標(biāo)準(zhǔn)方差、平滑度、三階矩、一致性和熵6個(gè)統(tǒng)計(jì)量對(duì)直方圖進(jìn)行二次統(tǒng)計(jì),降低特征維數(shù),最后分析3個(gè)階段統(tǒng)計(jì)量的差異與區(qū)分度,選出均值和方差作為圖像的紋理特征參數(shù)。

在進(jìn)行泡沫靜態(tài)特征提取前,需要解決泡沫圖像模糊、邊界不明顯等問題,減少環(huán)境干擾因素;通過靜態(tài)特征提取能實(shí)現(xiàn)比較精確的監(jiān)測(cè),但泡沫浮選是復(fù)雜且流動(dòng)的過程,動(dòng)態(tài)特征的演變也不可忽略。

1.2 動(dòng)態(tài)特征

1.2.1 泡沫流速

泡沫移動(dòng)速度可以追蹤連續(xù)幀的氣泡運(yùn)動(dòng)來量化,常用的測(cè)量泡沫速度算法主要有塊匹配、像素跟蹤和氣泡跟蹤。Jahedsaravani等[16]在利用圖像分析銅間歇浮選的冶金性能時(shí)選擇塊匹配方法,在匹配過程中先在第一幀圖像中選擇兩個(gè)平行源塊,根據(jù)數(shù)據(jù)庫(kù)記錄最大泡沫位移在下一幀中確定搜索目標(biāo)塊的區(qū)域,最后在第二幀定義的相鄰區(qū)域內(nèi)搜索源塊。Cao等[14]在鋁土礦精礦品位預(yù)測(cè)中采用宏塊跟蹤技術(shù)提取泡沫速度特征,由后一幀往前一幀尋找最優(yōu)匹配,采用歸一化互相關(guān)函數(shù),取其最大位置作為最優(yōu)匹配位置,位置相減獲得位移,并根據(jù)幀率生成灰度的速度向量。張雨涵[25]將灰度處理后的兩張連續(xù)圖像進(jìn)行SIFT特征匹配,兩張圖片通過直線匹配連接起來,后一張圖像根據(jù)匹配結(jié)果將泡沫移動(dòng)方向用箭頭表示,即箭頭的長(zhǎng)度為泡沫流動(dòng)速度,最后加權(quán)平均計(jì)算平均速度作為最后的結(jié)果。特征匹配算法量化泡沫移動(dòng)速度是常規(guī)的一種做法,早期的尺度不變特征變換(SIFT)算法可以匹配到的特征點(diǎn)數(shù)多,但匹配錯(cuò)誤率高且運(yùn)行效率底下;快速特征點(diǎn)提取和描述(ORB)算法匹配到的點(diǎn)較少,但其速度快;其他算法雖然能有效減少誤匹配點(diǎn)的個(gè)數(shù)但不能完全剔除且運(yùn)行效率低下,因此劉惠中等[26]提出“ORB+GMS+RANCAC(隨機(jī)一致性采樣)”的改進(jìn)基于運(yùn)動(dòng)統(tǒng)計(jì)的快速魯棒特征匹配過濾(GMS)算法,實(shí)現(xiàn)泡沫速率提取的快速及穩(wěn)定。

1.2.2 泡沫穩(wěn)定性

根據(jù)在泡沫表面產(chǎn)生的反射率和陰影之間的差值計(jì)算出泡沫的破裂率。氣泡出現(xiàn)事件導(dǎo)致白點(diǎn)形成,而氣泡消失事件導(dǎo)致暗區(qū)產(chǎn)生。假設(shè)一個(gè)氣泡在連續(xù)的幀中被打破,那么源幀中的白點(diǎn)就會(huì)轉(zhuǎn)變?yōu)橄乱粠械暮邳c(diǎn)。如果從下一圖像中減去源圖像,則在氣泡碰撞位置可見明亮區(qū)域。最后,使用閾值進(jìn)行噪聲去除和氣泡破裂率測(cè)量。Cao等[14]首先利用速度信息將連續(xù)兩幀的后一幀變換到圖像對(duì)中前一幀的相同位置;然后計(jì)算第一幀與變換后圖像之間的差值,當(dāng)差值圖像的像素?cái)?shù)大于給定閾值時(shí),得到坍塌率。張雨涵[25]采用對(duì)圖像作旋轉(zhuǎn)以及尺度不變等一系列變化均能保持不變的SIFT特征匹配方法,泡沫破裂后匹配點(diǎn)個(gè)數(shù)會(huì)增多,增加個(gè)數(shù)比上原數(shù)量即為泡沫的坍塌率。

動(dòng)態(tài)特征的提取更貼近浮選流程,但相對(duì)于靜態(tài)特征的提取,動(dòng)態(tài)特征伴隨著時(shí)間信息,因此動(dòng)態(tài)特征提取的技術(shù)難度大幅增加。

2 泡沫圖像特征降維

對(duì)于初步獲取的圖像特征,可能維數(shù)依然很大,且可能包含一定的無關(guān)或冗余特征。因此圖像特征的提取和選擇是圖像處理過程中很重要的環(huán)節(jié),對(duì)后續(xù)圖像分類有著重要的影響,并且對(duì)于圖像數(shù)據(jù)具有樣本少、維數(shù)高的特點(diǎn),要從圖像中提取有用的信息,必須對(duì)圖像特征進(jìn)行降維處理,特征提取與特征選擇就是最有效的降維方法,其目的是得到一個(gè)反映數(shù)據(jù)本質(zhì)結(jié)構(gòu)、識(shí)別率更高的特征子空間。

2.1 基于原始特征向量的特征變換

這里的特征提取是指從初步獲取的原始特征中通過一定的數(shù)學(xué)運(yùn)算得到一組新的特征也稱作特征變換,其可以有效的降低特征空間維數(shù)和消除特征之間可能存在的相關(guān)性,減少特征中的無用信息。吳佳等[4]在研究金、銻的精礦品位估計(jì)時(shí),采用核主元分析法(KPCA)對(duì)4個(gè)圖像特征(泡沫尺寸、負(fù)載率、藍(lán)色分量均值和色度)進(jìn)行特征轉(zhuǎn)換,降低模型輸入特征維數(shù),分別得到金、銻的新特征集維數(shù)為3和2。泡沫圖像提取的各特征對(duì)輸出分類結(jié)果的貢獻(xiàn)不一致,而常規(guī)的分類模型會(huì)忽略其不一致性,因此何明芳等[27]提出模糊隸屬度計(jì)算特征重要度矩陣,并利用特征重要度矩陣改進(jìn)支持向量機(jī)核函數(shù),相比于信息熵方法考慮了噪聲對(duì)數(shù)據(jù)的影響,實(shí)現(xiàn)工況的有效識(shí)別。

2.2 基于原始特征向量的特征篩選

特征提取是在原始特征的映射下生成新的特征向量,但特征選擇是在原始特征中篩選出與目標(biāo)輸出結(jié)果最相關(guān)的向量,避免冗余特征對(duì)訓(xùn)練過程和結(jié)果的影響。曹文艷等[28]研究表明,將提取的全部特征或是未經(jīng)特征提取將任意幾組特征作為輸入數(shù)據(jù)進(jìn)行聚類都會(huì)使分類精度低下,而利用最小冗余最大相關(guān)性(mRMR)進(jìn)行特征選擇,能對(duì)特征與精煤灰分類別進(jìn)行相關(guān)性排序,同時(shí)去除冗余性強(qiáng)的特征,篩選得到對(duì)后期聚類器的訓(xùn)練和學(xué)習(xí)起到關(guān)鍵作用的特征子集,提高聚類器的分類精度。朱建勇等[29]提出稀疏性原理和神經(jīng)網(wǎng)絡(luò)模型結(jié)合的嵌入式特征選擇方法,選擇神經(jīng)網(wǎng)絡(luò)作為基學(xué)習(xí)器,將原始特征作為訓(xùn)練集的輸入,在學(xué)習(xí)訓(xùn)練過程中引入稀疏算法,稀疏輸入層到隱藏層的權(quán)值,權(quán)值比重約簡(jiǎn)泡沫特征,解決了各輸入特征之間存在的非線性關(guān)系。而Huang等[30]通過使用ReliefF(過濾式特征選擇)計(jì)算特征排名和特征權(quán)重,并將其提供給下一個(gè)包裝階段。設(shè)計(jì)了一種包裝方法—二進(jìn)制狀態(tài)轉(zhuǎn)換算法(BSTA), BSTA根據(jù)前一階段發(fā)現(xiàn)的特征的重要信息(特征排序和特征權(quán)重),通過使用K-近鄰學(xué)習(xí)器評(píng)估每個(gè)特征子集的分類精度,選擇包含最相關(guān)和非冗余特征的最佳特征子集。Zhou等[31]提出了最小冗余最大相關(guān)的mRMRBSTA混合特征選擇方法,在過濾階段利用特征與類的相關(guān)性、特征之間的冗余性篩選粗略的特征子集,為下一階段的包裝過程縮小搜索范圍,在保證分類精度的前提下用BSTA的包裝方法篩選最佳的特征子集,同時(shí)基于聚類算法去除標(biāo)記異常值。

過多的特征向量輸入會(huì)影響模型的運(yùn)行性能,嚴(yán)重的會(huì)導(dǎo)致“特征災(zāi)難”。特征提取和特征選擇都能達(dá)到對(duì)特征向量降維的目的,但特征提取形成新的特征向量改變了原始的特征空間。因此選擇適合的特征提取和特征選擇算法對(duì)目標(biāo)結(jié)果識(shí)別有重要影響。

3 基于深層神經(jīng)網(wǎng)絡(luò)的浮選泡沫圖像特征提取

泡沫浮選過程是綜合因素影響的復(fù)雜過程,因此圖像表面包含豐富且復(fù)雜的特征信息。傳統(tǒng)的圖像識(shí)別方法分為兩個(gè)步驟：首先提取圖像特征參數(shù),以研究的浮選泡沫圖像為例,提取泡沫圖像的紋理、泡沫尺寸和顏色等視覺特征參數(shù),然后根據(jù)輸出目標(biāo)使用機(jī)器學(xué)習(xí)算法(分類或回歸等)對(duì)這些特征數(shù)據(jù)進(jìn)行訓(xùn)練,建立適用于泡沫圖像的目標(biāo)模型,最終確定的目標(biāo)模型需要對(duì)特征參數(shù)不斷優(yōu)化訓(xùn)練,過程繁瑣且耗時(shí)。而深度學(xué)習(xí)使用多重復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)抽取數(shù)據(jù)的深層次抽象特征并進(jìn)行表征與學(xué)習(xí),直接以圖像作為輸入,無需對(duì)圖像特征進(jìn)行描述,且自動(dòng)更新優(yōu)化各網(wǎng)絡(luò)權(quán)重,在大量訓(xùn)練樣本數(shù)據(jù)與深層網(wǎng)絡(luò)的支持下,具有更加優(yōu)異的分類結(jié)果,如圖2所示。

圖2 傳統(tǒng)機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法的區(qū)別

3.1 基于深度學(xué)習(xí)的圖像分割方法

近幾年深入學(xué)習(xí)的快速發(fā)展,語(yǔ)義分割開始被用于泡沫圖像分割。Liu 等[32]提出了一種多尺度跳躍特征融合全連接卷積網(wǎng)絡(luò)算法(multi-scale jump feature fusion fully connected convolutional network, MsJ),為了解決高溫高速環(huán)境下采集到的銅礦浮選泡沫圖像的模糊問題,先采用基于多尺度去模糊(MsD)的模糊核估計(jì)算法對(duì)圖像進(jìn)行復(fù)原;在全卷積網(wǎng)絡(luò)加入多個(gè)跳躍連接方式和殘差塊(MsJ),自適應(yīng)勾畫出各種大小的氣泡,實(shí)現(xiàn)對(duì)銅浮選泡沫圖像進(jìn)行精確分割。楊聞起[33]提出改進(jìn)的Deeplabv3+模型—M-DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu),解決了提取圖像邊界精度不足、信息粗糙等問題,將輕量級(jí)網(wǎng)絡(luò)mobilenetv3作為主干網(wǎng)絡(luò),減少了訓(xùn)練樣本,提升目標(biāo)圖像的分割精度。唐朝暉等[34]提出一種新的 I-Attention U-Net 網(wǎng)絡(luò)用于泡沫圖像分割,在對(duì)稱 U 形結(jié)構(gòu)網(wǎng)絡(luò)(U-Net)的主干網(wǎng)絡(luò)中將第一層卷積池化模塊改用 Inception+BN(批量歸一化) 層,擴(kuò)大網(wǎng)絡(luò)的深度和寬度,提高特征提取的豐富性;增加改進(jìn)的注意力機(jī)制,強(qiáng)調(diào)了目標(biāo)區(qū)域和邊界;引入金字塔池化模塊和注意力機(jī)制的組合,泡沫邊界分割得更加清晰、連貫,提高了分割的準(zhǔn)確性。Gharehchobogh等[35]采用Mask R-CNN對(duì)銅浮選泡沫圖像進(jìn)行分割,利用該方法的實(shí)例分割進(jìn)行氣泡的識(shí)別,氣泡大小分布的計(jì)算,以及泡沫中無負(fù)載氣泡的檢測(cè)。通過8張手動(dòng)分割的圖像來評(píng)估該方法的性能,并與分水嶺算法的結(jié)果進(jìn)行比較有較大的提高。

基于卷積神經(jīng)網(wǎng)絡(luò)的浮選泡沫圖像分割可以主要分為語(yǔ)義分割和實(shí)例分割,需要的數(shù)據(jù)樣本多,且需要對(duì)分割訓(xùn)練樣本進(jìn)行標(biāo)注,工作量繁重,當(dāng)前浮選泡沫圖像數(shù)據(jù)集欠缺。

3.2 以深層神經(jīng)網(wǎng)絡(luò)為框架的圖像特征提取

深度學(xué)習(xí)能提取到圖像的深層抽象特征,應(yīng)用在泡沫浮選領(lǐng)域(見圖3),在對(duì)夜間獲取的圖像進(jìn)行圖像增強(qiáng)時(shí),依舊不能取得滿意的分類效果,因此提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到夜晚煤泥浮選泡沫分類問題[36]。Liu等[37]利用AlexNet網(wǎng)絡(luò)作為特征提取器,即從每張泡沫圖像中提取4 096個(gè)特征,應(yīng)用工業(yè)圖像數(shù)據(jù)和GLCM、texton方法對(duì)比研究,AlexNet提取出的特征數(shù)據(jù)標(biāo)記的異常狀態(tài)數(shù)據(jù)優(yōu)于另外兩種特征提取方法。Liu等[38]同樣采用局部二進(jìn)制(LBP)和AlexNet進(jìn)行鉑金屬泡沫圖像特征的提取,59個(gè)LBP和4 096個(gè)AlexNet特征作為預(yù)測(cè)因子進(jìn)行合成圖像與真實(shí)圖像分類,結(jié)果顯然AlexNet優(yōu)于LBP,同時(shí)也為圖像數(shù)據(jù)集增強(qiáng)方法提供新思路。卷積神經(jīng)網(wǎng)絡(luò)主要通過卷積層來提取泡沫圖像的特征,得到的特征圖經(jīng)過下采樣層,降低了特征圖的維數(shù)和去除冗余參數(shù),最終提取的多通道抽象像素特征集進(jìn)入全連接層實(shí)現(xiàn)最終的分類,結(jié)果表明抽象像素特征明顯優(yōu)于人工設(shè)計(jì)的特征[39]。Guan等[40]采用深度學(xué)習(xí)圖像處理算法和Pytorch+YOLOv5模型,通過對(duì)500+標(biāo)記樣本數(shù)據(jù)集的訓(xùn)練,實(shí)現(xiàn)對(duì)液體表面泡沫的識(shí)別、定位和標(biāo)記并計(jì)算其表面積。量化浮選泡沫的流動(dòng)性和穩(wěn)定性,直觀地反映浮選泡沫的狀態(tài)和質(zhì)量形成數(shù)據(jù),并輸出作為泡沫特征參數(shù)。Yang等[41]將殘差神經(jīng)網(wǎng)絡(luò)(ResNet)和注意力機(jī)制結(jié)合在一起提出一種新的卷積神經(jīng)網(wǎng)絡(luò)(CNN)框架——卷積-注意力并行網(wǎng)絡(luò)(CAPNet),在這一框架中ResNet的卷積層提取泡沫圖像的注重局部特征,而注意力機(jī)制著重提取全局特征,雙模式并行運(yùn)行,提升了模型的整體性能。

圖3 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)圖

4 泡沫圖像特征的研究趨勢(shì)和挑戰(zhàn)

浮選泡沫過程是一個(gè)動(dòng)態(tài)且復(fù)雜的系統(tǒng),表現(xiàn)為復(fù)雜的動(dòng)力學(xué)特性[42],因此,利用動(dòng)態(tài)圖像或視頻圖像來表征浮選狀態(tài)是非常重要的。在這方面,有些研究者已經(jīng)做出了突出貢獻(xiàn)。Tang等[43]提出一種創(chuàng)新的方法,他們使用ELMo模型處理氣泡大小時(shí)間序列的累積來生成動(dòng)態(tài)特征向量。接著,他們利用XGBoost建立了試劑用量和動(dòng)態(tài)特征向量之間的非線性關(guān)系模型。另外,Ai等[44]也著重模擬了銻的浮選流程,他們?cè)O(shè)計(jì)了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的模型,該模型結(jié)合了長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)。其中LSTM網(wǎng)絡(luò)用作主要模型,負(fù)責(zé)處理各種輸入?yún)?shù),包括某一時(shí)刻的泡沫圖像特征(如大小、速度、形狀和顏色)、原礦品位和藥劑用量,其輸出則是精礦品位。為了校正預(yù)測(cè)值與實(shí)際值之間的偏差,他們引入了一個(gè)RBFNN誤差修正模型,該模型將兩個(gè)模型的輸出匯總,并將其用作藥劑控制器的反饋信息,實(shí)現(xiàn)浮選藥劑的自動(dòng)監(jiān)控和反饋。而Zhang等[45]則采用了一種不同的方法,他們將泡沫視頻與X射線熒光光譜儀(XRF)相結(jié)合,以自動(dòng)提取具有時(shí)間序列的特征向量。這些特征向量被送入一個(gè)編碼器,生成中間向量,這些向量與品位保持動(dòng)態(tài)一致的關(guān)系,從而更好地預(yù)測(cè)當(dāng)前的尾礦品位。以上所述研究均突顯了現(xiàn)代技術(shù)在深化我們對(duì)浮選泡沫過程理解和控制方面的重要性,為實(shí)現(xiàn)更高效和精準(zhǔn)的資源利用打開了新的可能性。

5 結(jié) 論

隨著近幾年深度學(xué)習(xí)的快速發(fā)展,泡沫浮選特征參數(shù)的提取也更加多元化,模型建立更加復(fù)雜化。相關(guān)的研究也表明,各特征參數(shù)綜合預(yù)測(cè)能提升模型的識(shí)別精度。通過對(duì)文獻(xiàn)的回顧,關(guān)于浮選泡沫特征參數(shù)選取可以得出以下結(jié)論。

(1)在對(duì)泡沫特征參數(shù)進(jìn)行選取前,對(duì)圖像進(jìn)行預(yù)處理能有效提高特征選取的有效性,如對(duì)圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)開閉運(yùn)算等預(yù)處理手段,能有效解決分水嶺分割的過分割與欠分割等問題。

(2)深度學(xué)習(xí)應(yīng)用于浮選自動(dòng)化領(lǐng)域是一種必然趨勢(shì),但深度學(xué)習(xí)需要龐大的數(shù)據(jù)集,目前浮選領(lǐng)域還沒有相關(guān)的公開數(shù)據(jù)集,所以龐大的圖像數(shù)據(jù)量的獲取以及標(biāo)注是一項(xiàng)艱難的工作。

(3)隨著浮選自動(dòng)化的研究深入,為了實(shí)現(xiàn)在線實(shí)時(shí)監(jiān)測(cè),需要考慮到時(shí)間對(duì)動(dòng)態(tài)浮選過程的影響,因此模型的建立更加復(fù)雜化;浮選工況的復(fù)雜性及各參數(shù)之間的耦合性,單一的泡沫特征參數(shù)可能達(dá)不到理想效果,需要結(jié)合浮選參數(shù)進(jìn)行綜合預(yù)測(cè)。