高 智 林新棋，2 吳 鵬 李海濤

（1.福建師范大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州，350007；2.福建師范大學(xué)網(wǎng)絡(luò)安全與密碼技術(shù)福建省高校重點(diǎn)實(shí)驗(yàn)室，福州，350007）

引 言

模式識別一般屬于人工智能的第一階段，是人工智能的基礎(chǔ)［1］。模式識別的基本步驟為：信息采集、預(yù)處理、特征提取與選擇、分類決策、分類器設(shè)計(jì)。通常以圖片的形式存在的視覺信息經(jīng)過采集后，往往需要預(yù)處理才能夠用于后續(xù)特征提取與選擇等階段，所以以前景提取和去噪為主要內(nèi)容的預(yù)處理則是模式識別的一個(gè)重要研究環(huán)節(jié)。

前景提取就是將圖像中的活動目標(biāo)與背景分離的過程。幀間差分法、背景差分法、基于統(tǒng)計(jì)模型的方法和光流法是目前廣泛應(yīng)用于前景提取的方法。光流法由于計(jì)算復(fù)雜度較大，不易適用于實(shí)時(shí)系統(tǒng)。幀間差分法、背景差分法和基于統(tǒng)計(jì)模型的方法已經(jīng)有了較多成熟的發(fā)展［2-4］，但在這些算法提取的前景圖像中，經(jīng)常會出現(xiàn)諸如圖1（a）圓圈內(nèi)部所示的大面積的誤檢像素區(qū)域（稱之為噪聲）。即存在部分前景區(qū)域未能識別，或部分背景區(qū)域誤識別為前景的情況。另一方面，這些噪聲增加了后續(xù)提取特征的難度，甚至出現(xiàn)特征提取錯(cuò)誤的現(xiàn)象，所以這些前景提取算法通常不能直接應(yīng)用于模式識別的實(shí)時(shí)系統(tǒng)，必須經(jīng)合適的去噪處理才能達(dá)到預(yù)處理的目的。

目前應(yīng)用于去噪的方法主要是分為以形態(tài)學(xué)方法為基礎(chǔ)的去噪方法［3］和在圖像頻域內(nèi)進(jìn)行高頻能量濾波兩種類型［5-7］。形態(tài)學(xué)圖像處理是建立在數(shù)學(xué)形態(tài)學(xué)基礎(chǔ)之上的一種常用的圖像處理方法［8］。但其缺點(diǎn)是：（1）形態(tài)學(xué)處理本質(zhì)上是一種二維卷積運(yùn)算，當(dāng)圖像維數(shù)較大的時(shí)候，尤其是用灰度形態(tài)學(xué)、模糊形態(tài)學(xué)等方法，計(jì)算復(fù)雜度較大，運(yùn)行速度很慢，無法滿足實(shí)時(shí)處理系統(tǒng)；（2）為達(dá)到最佳的濾波效果，有時(shí)不得不需要結(jié)合圖像的拓?fù)涮匦赃x擇形態(tài)開、閉運(yùn)算的復(fù)合方式；（3）經(jīng)過多次復(fù)合方式處理后，前景目標(biāo)形狀和大小會有較大變化。這種情況會使得后期提取的特征信息（大小、輪廓、曲率、特定部位等），出現(xiàn)失真現(xiàn)象，如圖1（b）所示。尤其在環(huán)境背景較為復(fù)雜的情況下，圖像的處理效果更差。在圖像頻域內(nèi)進(jìn)行高頻能量濾波的方法主要應(yīng)用于諸如圖片美化等，細(xì)節(jié)方面的去噪處理，不滿足應(yīng)用于將大面積噪聲濾除的前景圖像噪聲的要求。另外，通?，F(xiàn)實(shí)環(huán)境復(fù)雜性和實(shí)時(shí)系統(tǒng)硬件處理能力有限等因素也使得追求簡單有效的前景提取算法和去噪方法成為必要［9，10］。

綜上所述，本文以前景提取圖像序列為基礎(chǔ)，針對形態(tài)學(xué)的缺點(diǎn)，根據(jù)原始前景圖像中真實(shí)前景和噪聲像素空間分布特性及亮度的不同分布規(guī)律，提出一種搜索計(jì)算獨(dú)立分離塊面積和分層篩選的前景建模方法，利用提出的模型進(jìn)一步細(xì)化前景圖像，刪除屬于背景噪聲的獨(dú)立分離塊，以提高前景圖像的準(zhǔn)確度，而且盡可能保留前景圖像的形狀和大小。

1 確定前景與刪除背景噪聲

經(jīng)過大量的實(shí)驗(yàn)可知，前景圖像中真實(shí)前景區(qū)域和誤檢噪聲區(qū)域具有如下統(tǒng)計(jì)特點(diǎn)：（1）真實(shí)前景區(qū)域面積大，像素亮度均勻，變化較為規(guī)律；（2）誤檢的噪聲區(qū)域分布較為分散，且塊內(nèi)像素亮度值方差較大，被誤檢的背景塊面積通常較小，且跟前景圖像區(qū)域面積相比有較大差別。如圖1所示?；诖?，本文首先將原始前景圖像進(jìn)行單元塊分割，進(jìn)而在單元塊的基礎(chǔ)之上通過前景圖像上由滿足閾值的單元塊構(gòu)成的各獨(dú)立分離塊的面積的大小來進(jìn)一步細(xì)化分離前景和噪聲。

圖1 前景圖像和形態(tài)學(xué)處理后的前景圖像Fig.1 Foreground image and morphological post-processing

1.1 單元塊分割前景圖像

單元塊是構(gòu)成獨(dú)立分離塊的基本構(gòu)成單元，也是確定前景與刪除背景噪聲的準(zhǔn)備工作。將一張前景圖像視為原始圖像I，首先按照從左到右，從上到下劃分成x×y的像素塊陣列，每一個(gè)x×y塊即稱之為單元塊。每一個(gè)單元塊的名字由該塊在整個(gè)塊陣列中的行序號和列序號表示（（行號，列號）），如圖2所示。然后，對每一個(gè)單元塊賦予一個(gè)標(biāo)簽，標(biāo)簽內(nèi)容包括該單元塊的名字和參數(shù)sum，其中sum表示單元塊中非零像素個(gè)數(shù)。

圖2 圖像I被劃分為m×n個(gè)單元塊Fig.2 The image Iis divided into m×n unit blocks

1.2 搜索和計(jì)算獨(dú)立分離塊面積

本文將由相互接壤的單元塊構(gòu)成，區(qū)域內(nèi)所有單元塊都滿足同一條件的獨(dú)立連續(xù)區(qū)域稱為獨(dú)立分離塊。如圖3中的s1，s2分別代表兩個(gè)獨(dú)立分離塊。一旦確定獨(dú)立分離塊后，本文就可以利用其面積大小來進(jìn)一步細(xì)化篩選前景和背景。首先要搜索和計(jì)算整幅圖像上所有獨(dú)立分離塊的面積。本文主要通過搜索累積的方式找到一幅圖像中的所有獨(dú)立分離塊，并給每個(gè)獨(dú)立分離塊賦予自己相應(yīng)的塊標(biāo)簽。標(biāo)簽記錄著屬于該獨(dú)立分離塊內(nèi)各個(gè)單元塊的標(biāo)簽和該獨(dú)立分離塊內(nèi)單元塊的數(shù)量N。N越大則說明獨(dú)立分離塊面積越大。

圖3 獨(dú)立分離塊Fig.3 Independent separation block

搜索準(zhǔn)則為：對于如圖2所示的原始圖I，搜索到包含的單元塊都滿足標(biāo)簽sum≥k的所有獨(dú)立分離塊（s1s2…sn），并建立一個(gè)獨(dú)立分離塊查詢表存儲獨(dú)立分離塊的信息。為實(shí)現(xiàn)此準(zhǔn)則，第一步，找到I中所有sum≥k的單元塊，將sum≤k的單元塊視為噪聲并被濾除，此步驟稱之為第一層篩選；第二步，找到由sum≥k的單元塊組成的各獨(dú)立分離塊，并記錄到獨(dú)立分離塊查詢表上。

第二步的具體操作步驟為：按照從左到右，從上到下的搜索遍歷方式，對每一個(gè)sum≥k的單元塊判斷其能否跟某一個(gè)或多個(gè)獨(dú)立分離塊查詢表內(nèi)已經(jīng)登記的獨(dú)立分離塊組成一個(gè)新的獨(dú)立分離塊。若滿足一個(gè)，如圖4所示的兩種情況之一，則只需將該獨(dú)立分離塊s的標(biāo)簽值更新即可，更新方式如式（1）所示；若有多個(gè)，如圖5所示的情況，獨(dú)立分離塊查詢表的更新方式如式（2）所示；若某單元塊只滿足sum≥k，則新的獨(dú)立分離塊被創(chuàng)建如式（3）所示。每個(gè)獨(dú)立分離塊標(biāo)簽內(nèi)N值即為獨(dú)立分離塊的面積。

判斷能否跟某一個(gè)或多個(gè)獨(dú)立分離塊組成新的獨(dú)立分離塊的方法如下：判斷該單元塊周圍與之相鄰的左邊和上邊的四個(gè)鄰域單元塊，如圖6所示（本文用表示）是否存在于獨(dú)立分離塊查詢表中之前已登記過的獨(dú)立分離塊內(nèi)。因?yàn)槊恳粋€(gè)單元塊周圍存在最多8塊與之相鄰的單元塊，加之前面采取的從左到右，從上到下的對整張圖像的掃描方式，所以只需判斷已掃描過的與之相鄰的左邊和上邊的4個(gè)鄰域單元塊即可，其余四塊還未掃描，無須考慮。

圖4 塊（i j）與已存在的獨(dú)立分離塊s形成新的獨(dú)立分離塊Fig.4 Unit block （ij）and the existing independent separation block s are formed into a new independent separation block

圖5 塊（i j）和s1，s2形成新的獨(dú)立分離塊Fig.5 Unit block（ij），s1and s2are formed into a new independent separation block

圖6 與塊（i j）相鄰的單元塊Fig.6 Adjacent unit blocks of（ij）

其中，s.N，s1.N和s2.N分別表示獨(dú)立分離塊s，s1和s2的標(biāo)簽中N的值；s1和s2為可能存在的能與（ij）合并為新的獨(dú)立分離塊的兩個(gè)已登記獨(dú)立分離塊；si表示已存在于獨(dú)立分離塊查詢表內(nèi)的任意一個(gè)獨(dú)立分離塊；表示單元塊（ij）左邊和上邊的4個(gè)鄰域單元塊；sum（ij）表示單元塊（ij）標(biāo)簽中sum的值；k為閾值常數(shù)。

1.3 前景區(qū)域刪除噪聲

當(dāng)掃描完整幅前景圖像中所有單元塊，且獨(dú)立分離塊查詢表更新完后，基于前面第1節(jié)所描述的前景區(qū)域和背景區(qū)域像素值分布特點(diǎn)，獨(dú)立分離塊查詢表中面積小于閾值A(chǔ)（本文中A的取值為查詢表中最大獨(dú)立分離塊面積的0.01）的獨(dú)立分離塊將視為噪聲區(qū)域而被濾除，此步驟稱為第二層篩選。至此，獨(dú)立分離塊查詢表中剩余的單元塊所包含的區(qū)域被確認(rèn)為前景，最終將獨(dú)立分離塊查詢表輸出。分層篩選前景圖像的算法流程表如下所示。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)準(zhǔn)備

本文所用圖像序列是由SONY攝像機(jī)，型號為KDR-CX700E，分辨率為1 440＊1 080，在不同環(huán)境下拍攝的兩段視頻共1 000幀構(gòu)成。本文還通過Photoshop等軟件將圖像序列中的前景人物人工提取作為實(shí)驗(yàn)過程中的驗(yàn)證標(biāo)準(zhǔn)。

2.2 基于不同前景提取方法的有效性驗(yàn)證

從實(shí)驗(yàn)后圖像處理結(jié)果來看，圖7中的（e，f）兩幅圖表明原始前景圖像中存在大量噪聲區(qū)域，而經(jīng)過本文方法處理后（圖7（g，h）所示）該區(qū)域噪聲全部被消除。由此表明經(jīng)本文方法處理后，原來存在的噪聲能夠有效地濾除。

因?yàn)樵诓煌沫h(huán)境下拍下的圖像序列，應(yīng)用不同的前景提取方法提取前景結(jié)果存在較大不同，即不同的前景提取方法適用于不同的環(huán)境，所以為了度量不同方法處理后前景提取的質(zhì)量，現(xiàn)定義準(zhǔn)確率（A）來表示前景處理后實(shí)際屬于真實(shí)前景面積在提取總面積中的比重，具體如式（4）所示

圖7 前景圖像的殘余噪聲Fig.7 Residual noise of the foreground image

其中，f和g分別代表前景圖像中正確識別的前景區(qū)域的像素?cái)?shù)目和前景圖像被識別出的所有像素?cái)?shù)目。A的取值范圍為［0，1］，當(dāng)A的值越大時(shí)，表明前景圖像中屬于真實(shí)前景圖像部分的面積占總識別面積的比重越大，即提取效果越好；反之，當(dāng)A值越小時(shí)，表明前景圖像中屬于真實(shí)前景圖像部分的面積占總識別面積的比重越小，即提取效果不好。

圖8列出了實(shí)驗(yàn)序列中50幀圖像分別經(jīng)過兩種不同的前景圖像提取方法后未經(jīng)本文處理和在其基礎(chǔ)上經(jīng)過本文對他們處理后的準(zhǔn)確率圖。圖中25～30幀的地方由于前景目標(biāo)的動作行為在幀間變化較小，致使前景提取算法的性能降低，但經(jīng)過本文提出的方法處理后，仍舊能去除大量噪聲。從圖8知，兩種提取前景圖像經(jīng)處理后的準(zhǔn)確率都有明顯的提高，基本達(dá)到了90%。由此，進(jìn)一步說明本文提出的方法對于去噪和美化功能的有效性。

圖8 不同原始前景提取方法在經(jīng)本文方法處理前后的檢準(zhǔn)率對比圖Fig.8 Precision comparison chart of different original foreground after the proposed processing and before

2.3 基于形態(tài)學(xué)去噪方法的對比實(shí)驗(yàn)

在模式識別的預(yù)處理階段，對于特征提取影響最大的兩個(gè)因素為：（1）前景人物形狀細(xì)節(jié)信息提取程度，（2）背景區(qū)域，尤其遠(yuǎn)離前景區(qū)域內(nèi)噪聲的消除程度。下面分別針對兩個(gè)因素與形態(tài)學(xué)方法做對比驗(yàn)證。

2.3.1 前景人物形狀細(xì)節(jié)信息

形態(tài)學(xué)處理圖像的方法主要包括：腐蝕、膨脹、閉運(yùn)算、開運(yùn)算等。如前文所述，經(jīng)過形態(tài)學(xué)方法處理后的前景圖像容易造成失真現(xiàn)象。例如圖9（b）所示，經(jīng)形態(tài)學(xué)方法處理后人物的背部平滑線條已明顯變?yōu)殇彺绦偷恼劬€，且胳膊、頭部已明顯與身體融為一體。對于前景特征要求較為苛刻的特征提?。ㄈ纾禾崛∏熬叭宋镙喞?，提取頭部，提取胳膊和腿的位置等。）中，形態(tài)學(xué)處理方法顯然會對特征提取造成很大難度。圖9（c）為經(jīng)過本文的方法處理后，能夠更完整地保留前景作為人物的必要信息。

圖9 前景圖像產(chǎn)生的形變Fig.9 The distortiom of foreground image

此處也引用準(zhǔn)確率為指標(biāo)對本文的方法與形態(tài)學(xué)方法作對比（如圖10所示），且只針對在實(shí)驗(yàn)過程中形態(tài)學(xué)處理比較好的幾種處理方法（先腐蝕后膨脹1次，閉運(yùn)算1次，開運(yùn)算1次）給出結(jié)果對比。

由圖10（a）知，本文方法在基于混合高斯提取的前景圖像上的處理結(jié)果中有80%的圖片準(zhǔn)確率高于腐蝕-膨脹1次后的結(jié)果，而本文方法在幀差法提取的前景圖像上的處理結(jié)果則100%高于腐蝕-膨脹1此后的結(jié)果。由圖10（b）知，本文方法在基于混合高斯提取的前景圖像上的處理結(jié)果中準(zhǔn)確率分別高于開運(yùn)算和閉運(yùn)算的圖片占總數(shù)的86%和100%，而本文方法在幀差法提取的前景圖像上的處理結(jié)果中準(zhǔn)確率分別高于開運(yùn)算和閉運(yùn)算的圖片占總數(shù)的100%和100%。注：圖中第25-30幀的地方由于前景人物的動作行為在前后幀間差別較小，致使前景提取算法性能降低。

圖10 本文方法與形態(tài)學(xué)處理后檢準(zhǔn)對比圖Fig.10 Precision comparison chart about the proposed method and morphological processing

2.3.2 背景噪聲消除程度

為了衡量本文提出的方法與形態(tài)學(xué)及原始未經(jīng)處理過的前景圖像在背景噪聲消除方面的質(zhì)量，現(xiàn)定義噪聲減少系數(shù)ρ來衡量本文方法處理后噪聲消除的程度。ρ的定義如下

式中：f1表示經(jīng)本文方法處理后的噪聲面積；f2表示經(jīng)形態(tài)學(xué)方法處理后或原始前景圖像未經(jīng)任何處理的噪聲面積；ρ在［0 1］范圍之內(nèi)，ρ越接近0表明噪聲面積減少地越多，噪聲剩余量越少，反之當(dāng)ρ越接近于1時(shí)，則表明噪聲面積減少的越少，噪聲剩余量越多。

如表1所示，本文方法處理后的噪聲面積較基于混合高斯模型和幀差法提取的原始前景圖像相比，噪聲面積平均減少到了原始的0.205 68倍。同時(shí)，相對于形態(tài)學(xué)的各種操作而言，本文方法處理后的噪聲面積分別平均是開運(yùn)算的0.584 34倍，閉運(yùn)算的0.143 86倍，腐蝕 -膨脹的0.659 53倍。

表1 本文方法與原始前景圖像和形態(tài)學(xué)處理后噪聲減少系數(shù)Table 1 Coefficient of noise reduction about the proposed method and morphological processing

2.3.3 計(jì)算復(fù)雜度

形態(tài)學(xué)圖像處理的時(shí)間復(fù)雜度由圖像的像素維數(shù)和結(jié)構(gòu)元素而定，所以從理論上講，對于a×a的結(jié)構(gòu)元素在n×n維的圖像上進(jìn)行一次膨脹或腐蝕運(yùn)算，其時(shí)間復(fù)雜度可以用O（a2n2）來表示［11］。

本文以單元塊為計(jì)算單元，時(shí)間復(fù)雜度主要跟塊標(biāo)簽n值大于閾值的單元塊個(gè)數(shù)有關(guān)。但在實(shí)際情況中此n個(gè)單元塊中的絕大多數(shù)隸屬于個(gè)別幾個(gè)獨(dú)立分離塊（這幾個(gè)獨(dú)立分離塊屬于前景部分）。這說明在實(shí)際情況下其時(shí)間復(fù)雜度是接近于O（n）（此時(shí)n個(gè)單元塊搜索累積為一個(gè)獨(dú)立分離塊，即：此原始前景圖像中標(biāo)簽值sum≥k的單元塊全部為于前景區(qū)域）。

3 結(jié)束語

本文在基于幀差法和基于統(tǒng)計(jì)模型方法提取的前景圖像的基礎(chǔ)上，提出一種分層篩選獨(dú)立分離塊的前景圖像去噪方法。實(shí)驗(yàn)結(jié)果表明：經(jīng)本文方法處理后的前景圖像基本上能夠保持前景目標(biāo)形狀不變，同時(shí)最大限度地消除遠(yuǎn)離前景區(qū)域的噪聲，較形態(tài)學(xué)處理方法有較大優(yōu)勢。由于現(xiàn)實(shí)環(huán)境存在極大的差異性，目前尚未有一種既能夠完美保持前景所有信息而又不引入噪聲的前景圖像提取方法。盡管本文提出一個(gè)前景圖像后期去噪處理方法，但是該方法尚未能真正達(dá)到實(shí)時(shí)處理的要求，因此，未來將在實(shí)時(shí)上做進(jìn)一步的研究。

［1］邊肇祺，張學(xué)工.模式識別［M］.第2版.北京：清華大學(xué)出版社，2000：1-8.

Bian Zhaoqi，Zhang Xuegong.Pattern recognition［M］.2nd Edition.Beijing：Tsinghua University Press.2000：1-8.

［2］Wen-Kai Tsai，Ming-Hwa Sheu，Chung-Chi Lin.High-accuracy background model for real-time video foreground object detection［J］.Optical Engineering，2012，51（02）.027202.

［3］Kyungnam Kim，Thanarat H，Chalidabhongse David Harwood，et al.Real-time foreground-background segmentation using codebook model［J］.ELSEVIER，2005，11（3）：172-185.

［4］Hitesh Shah，Prakash Chokalingam. Automated stroke classification in tennis［J］.Springer Link，2007，4633：1128-1137.

［5］桑恩方，沈鄭燕，卞紅雨.形態(tài)小波域聲納圖像去噪算法［J］.數(shù)據(jù)采集與處理，2010，25（3）：324-329.

Sang Enfang，Shen Zhengyan，Bian Hongyu，et al.Sonar image denoising algorithm in morphological wavelet domain［J］.Journal of Data Acquisition and Processing，2010，25（3）：324-329.

［6］何勁，李宏偉，張群.一種自適應(yīng)閾值曲波圖像去噪算法［J］.數(shù)據(jù)采集與處理，2010 25（3）：336-340.

He Jin，Li Hongwei，Zhang Qun.Curvelet transform algorithm with auto-adaptive threshold to image denoising［J］.Journal of Data Acquisition and Processing，2010，25（3）：336-340.

［7］許慰玲，沈民奮，楊金耀.基于DTCWT方向信息的超聲圖像斑點(diǎn)噪聲消除［J］.數(shù)據(jù)采集與處理，2011，26（6）：671-675.

Xu Weiling，Shen Minfen，Yang Jinyao.Speckle reduction for ultrasound image using edge directions in DTCWT domain［J］.Journal of Data Acquisition and Processing，2011，26（6）：671-675.

［8］Serra J，Image analysis and mathematical morphology，Part 2：Theoretical Advances［M］.London：Academic Press，1988.

［9］Zhang Haojun，Chang Yong，Li Fanming，et al.Real-time embedded implementation of foreground/background segmentation algorithm［J］.Infrared and Laser Engineering，2012，41（2）：523-530.

［10］Qian Huimin，Mao Yaobin，Wang Zhiquan.SVM-based abnormal activity detection for home care［C］//Intelligent Control and Automation，WCICA 2008 7th World Congress.Chongqing：［s.n.］，2008：3766-3771.

［11］楊琨，曾立波，王殿成.數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹運(yùn)算的快速算法［J］.計(jì)算機(jī)工程與應(yīng)用，2005，41（34）：54-56.

Yang Kun，Zeng Libo，Wang Diancheng.A fast arithmetic for the erosion and dilation operations of mathematical morphology［J］.Computer Engineering and Applications，2005，41（34）：54-56.